Nathan Aaronson, dit Noodles, vieil homme solitaire, revient à New York et se souvient... Sa jeunesse délinquante dans le ghetto juif dans les années 20, avec Max, son ami de toujours ; leur ascension sans gloire dans la pègre, le trafic d'alcool, les fumeries d'opium... Mais il se souvient aussi de son amour d'enfance, Deborah ; de la violence, des meurtres sauvages... et de sa trahison...