Der Verein wurde am 5. August 1904 gegründet. 1908 vollzog der Club mit dem FC Radolfzell eine kurzzeitige Fusion, welche bereits 1910 wieder gelöst wurde, und trat unter der Bezeichnung FC Radolfzell-Singen an. Der FC Singen 04 konnte als Meister der Bezirksliga Ost 1923 und als Meister der Schwarzwaldliga 1930 schon vor dem Zweiten Weltkrieg erste Erfolge vorweisen.

Nachdem man 1971 und 1972 die Meisterschaft in der Schwarzwald-Bodensee-Liga hatte erringen können, erfolgte 1976 der Abstieg in die 2. Amateurliga. Dort erreichte man 1978 als Meister die Qualifikation zur neu geschaffenen Verbandsliga, bevor zu Beginn der 1980er Jahre der Gang in die unteren Amateurligen angetreten wurde.

1994 stieg der Club wieder in die Verbandsliga auf. Ein Jahr später wurde der ehemalige niederländische Fußballstar Johan Neeskens als Trainer verpflichtet, um den Aufstieg in die Oberliga Baden-Württemberg zu schaffen. Dieser verließ allerdings den Verein nach einer Spielzeit, um Assistent des niederländischen Nationaltrainers zu werden.

1997 gelang ein weiterer Aufstieg und im gleichen Jahr wurde der Verein Südbadischer Pokalsieger. 1999 wurde der Pokal erneut gewonnen.

In den darauffolgenden Jahren folgten weitere Höhen und Tiefen, auch ging es öfter bis in die 2. Runde des DFB-Pokals. Aktuell spielt die 1. Mannschaft in der Verbandsliga Südbaden und belegt einen mittleren Tabellenplatz.