Zunächst war Karl Kromer Briefträger, gründete im heimatlichen Gesangverein einen Knabenchor und ein Quartett, das er als Dirigent leitete. In den musikalischen Kreisen seiner Heimat trat er schließlich auch als Solosänger auf. Der Opernsänger Bösch am Badischen Hoftheater in Karlsruhe wurde bei seinen Besuchen im heimatlichen Mahlberg auf Karl Kromer aufmerksam. Er ließ ihn Probesingen. Seine Stimme gefiel so gut, dass er ein Gesangstudium am Konservatorium in Frankfurt am Main aufnehmen konnte. Doch der Tod seines Vaters im Jahr 1886 durchkreuzte seinen eingeschlagenen Weg. Die Geldquelle war versiegt und Kromer musste in seine Heimat zurückkehren. Im Inneren tief erschüttert und von Heimweh durchdrungen verfasste er auf seiner Heimreise das Lied. Das später „Weltberühmtheit“ erlangte: „Nach der Heimat möchte ich wieder“.

Im Jahr 1889 setzte Karl Kromer seinen früheren Weg wieder fort, der in an die Württembergerische Hofoper nach Stuttgart führte. Mit der Leitung der Bühnenmusik als Chormeister betraut, widmete er sich immer mehr der Tonschöpfung, so entstanden über 100 Kromer-Lieder. Karl Kromer gründete in Stuttgart ein Sextett und die Schwäbische Liedergruppe. Durch ihre Volkslieder lösten diese auf Konzertreisen nicht nur in Deutschland, sondern in fast ganz Europa und in 120 nord-amerikanischen Städten Stürme der Begeisterung aus. Die Krönung ihrer USA-Reise war 1922 ein Empfang beim amerikanischen Präsidenten Harding im Weißen Haus zu Washington. Tatsächlich wurden die USA-Besuche durch Adolf Kromer den dort lebenden Bruder von Karl veranlasst. Adolf war als junger Mensch ausgewandert und hat es in Cleveland/Ohio bis zum Rektor einer Deutschen Schule gebracht. Von ihm stammen einige Heimatgedichte die Karl vertont hat.