Pochodził z solidnej żydowskiej rodziny z Brooklynu. Nie cierpiał szkoły i wolał siedzieć w domu grając jazz na klarnecie albo wymyślając kawały, które posyłał do gazet. W 1952 zmienił nazwisko, ponieważ postanowił zostać komikiem i uważał, że Konigsberg to za poważne nazwisko dla komika. Swój image dopracowywał występami w kafejkach i małych klubach Greenwich Village. Po pierwszym roku został wyrzucony z Uniwersytetu Nowojorskiego. Oblał zajęcia z filmu. Od 1960 miał swój autorski show w telewizji, z którą jako scenarzysta współpracował od 1955 roku. W 1965 napisał scenariusz do filmu Clive'a Donnera "What's New, Pussycat?" i zagrał w nim główną rolę. Był to wstęp do późniejszego, ekranowego wcielenia Allena. Napisał również scenariusz do japońskiego dreszczowca szpiegowskiego "What's up, Tiger Lily", w którym agenci wywiadu walczyli o przepis na sałatkę jajeczną. Następnie wraz z kolegami zdubbingował japońskich aktorów, uzyskując efekt przez niektórych do dziś dnia uważany za kultowy. W 1969 napisał swoją pierwszą sztukę teatralną "Zagraj to jeszcze raz, Sam", która była wystawiana na Brodwayu. W tym samym roku wyreżyserował swój pierwszy film - "Bierz forsę i w nogi".