Należy do nielicznego grona amerykańskich aktorów charakterystycznych. Sławę zdobył najpierw jako aktor sceniczny, a następnie dzięki występom w telewizyjnym serialu komediowym "Roseanne", który przyniósł mu 4 nominacje do Złotego Globu, 7 do Emmy oraz American Comedy Award (1990) i  nagrodę widowni (1992). Najlepsze kreacje stworzył w przewrotnych i pastiszowych filmach braci Coen. Jego role wahają się od wcieleń komediowych po morderców, często gra zwykłych ludzi, ale potrafi wyposażyć ich w pierwiastek zagadkowości.

Kiedy miał dwa lata, zmarł jego ojciec. Trudy opieki nad rodziną, a częściowo także jej utrzymania przejął na siebie starszy o 15 lat brat Johna - Les. W 1968 r. Goodman po raz pierwszy spróbował swoich sił jako aktor w półamatorskiej inscenizacji "Lil Abner". Dzięki pomocy Lesa wyjechał do Nowego Jorku i dostał się do  szkoły dramatycznej, gdzie uczył się fachu m.in. wraz z Kathleen Turner. Na życie zarabiał występami w teatrach off-off-braodwayowskich. Okazjonalnie można go było oglądać w telewizji i w epizodycznych rolach w kinie.

Przełom przyszedł dopiero w połowie lat 80. wraz z wystawianą na Broadwayu sztuką "Big River" opartą na powieści Marka Twaina "Przygody Hacka Finna". Goodman wcielił się w niej w wiecznie pijanego ojca Finna. Wkrótce zaczął odnosić pierwsze sukcesy na dużym ekranie. W 1987 r. rozpoczął współpracę z braćmi Coen. Obok Holly Hunter i Nicholasa Cage'a zagrał groteskowego zbiega z więzienia, Gale'a, w filmie "Arizona Junior". W 1991 wcielił się w sympatycznego i wylewnego sąsiada hotelowego Bartona Finka (John Turturro), Charliego Meadowsa, który okazuje się mordercą w kolejnym obrazie braci - "Barton Fink". Rola ta przyniosła mu znakomite recenzje oraz nominację do Złotego Globu.

Serca publiczności Goodman zdobył jako Fred Flinstone w "Flinstones" (1994) Briana Levanta. W 1998 jako barman Mack śpiewał bluesa w "Blues Brothers 2000" Johna Landisa. W tym samym roku po raz kolejny zagrał u Coenów w "Big Lebowskim" za co otrzymał nominację do Golden Satellite Award. Wśród jego najnowszych filmów znajdują się młodzieżowe "Wygrane marzenia" (2000), gdzie wciela się w ojca głównej bohaterki oraz "O Brother Where Art Thou" (2000) braci Coen, gdzie występuje jako Big Dan Teague.

Od początku lat 90. Goodman prowadzi program telewizyjny "Saturday Night Live". Od 1989 r. jest żonaty z Annabeth Hartzog, z którą ma córkę Molly.