Acte I
Fritz est un jeune compositeur ambitieux qui vit dans une petite ville allemande. Il abandonne son véritable amour, Grete Graumann, issue d'un milieu modeste, pour se consacrer à sa musique. Il part à la recherche d'une mélodie qu'il entend au fond de lui et qu'il a du mal à retranscrire. Libre et sans entraves, il espère trouver cette mystérieuse mélodie qui lui échappe encore. Toujours épris de Grete, il promet de revenir auprès d’elle dès qu'il se sera établi en tant que compositeur.
En l’absence de Fritz, les parents de Grete essaient de la marier au propriétaire d'une auberge locale, dans l'espoir de régler les dettes du père, un ivrogne. Grete s'enfuit alors du domicile familial et suit une vieille femme qui l’entraîne dans la forêt en pleine nuit. La femme lui promet qu’elle trouvera le bonheur auprès d’un beau jeune homme. Grete espère revoir Fritz.
Acte II
Dix ans se sont écoulés. Trompée par la vieille dame, qui était en réalité une maquerelle, Grete est désormais une courtisane très convoitée, dans une maison close de luxe près de Venise. Des aristocrates admiratifs l'entourent, dont un comte qui la voudrait pour lui seul et qui es prêt à l'emmener avec lui.
Grete, qui a déjà été avec des centaines d'hommes, pense toujours à Fritz. Elle décide de défier ses prétendants à un concours : Celui dont la mélodie, l’histoire ou la chanson sera la plus imaginative et la plus touchante gagnera une nuit gratuite à ses côtés.
Dans une sombre ballade, le comte chante son insatiable désir pour elle, et un chevalier chevronné entonne une chanson sur l'insignifiance du mariage. Bientôt, le public divisé exige que Grete déclare le chevalier vainqueur.
À ce moment précis, un étranger apparaît. Il s’agit de Fritz, devenu un compositeur renommé. Il n'a toujours pas trouvé la fameuse mélodie qu'il cherchait. Fritz et Grete se reconnaissent immédiatement et tombent dans les bras l'un de l'autre. Cependant, lorsque Fritz se rend compte que Grete est une prostituée, il la quitte pour la deuxième fois. Le comte réclame son prix et emmène avec lui une Grete affolée.
Acte III
Quinze ans plus tard, une maison d'opéra allemande met en scène un opéra que Fritz a enfin terminé. Grete, qui, après une brève période avec le comte, a été jetée à la rue, est de retour en Allemagne, en tant que prostituée ordinaire. Elle aperçoit le nom du compositeur sur une affiche de l’opéra et se rend au spectacle. Très émue par l’histoire, qui relate essentiellement son parcours personnel, Grete quitte le théâtre avant la fin de la représentation. Alors que le public sort de l'opéra, elle entend dire que l'œuvre est considérée comme un échec et qu'elle survivra à peine à son créateur mourant. Reconnaissant la jeune femme, le docteur Vigelius, qui avait participé à son projet de mariage avec le propriétaire, de nombreuses années auparavant, se sent coupable de sa misère et lui promet de l'amener à Fritz.
Le lendemain matin de l’échec de la première, Fritz reçoit la visite de son ami, Rudolf, qui est venu lui remonter le moral. Il estime que Fritz devrait être en mesure de réécrire l'acte final et améliorer ainsi son chef-d'œuvre. Sentant que la mort est proche, Fritz souhaite seulement revoir la femme qu'il a aperçue dans le public lors de la représentation, et qui a quitté l'opéra avant la fin.
Soudain, Fritz entend à nouveau cette mélodie intérieure, qui lui échappait depuis si longtemps. Le docteur Vigelius lui amène Grete. Le couple promet de ne plus jamais se séparer, mais Fritz sent la vie le quitter. Il comprend enfin qu'il ne pouvait entendre la mélodie qu'aux côtés de Grete, et il meurt dans ses bras.