Urodził się na obrzeżach Nowego Jorku w White Plains. Syn Jamesa Allena Whitmore'a i Florence Crane. Najmłodszy z czworga dzieci. Jego ojciec był sekretarzem wykonawczym w Komisji parku w White Plains. Uczył się w szkole Choate Connecticut po otrzymaniu stypendium piłkarskiego. Później otrzymał tytuł licencjata na Uniwersytecie Yale w 1944 roku przed wstąpieniem do marynarki podczas II wojny światowej. Podczas przygotowań "GI" w American Theatre Wing spotkał swoją pierwszą żonę Nancy Mygatt. Oklaski, a następnie sława uznania przyszły dość szybko, zarówno w ramach Broadwayu i filmu. Po występach w Peterborough, New Hampshire Games latem 1947 roku wziął udział w spektaklu "Milky Way". W tym samym roku zadebiutował na Broadwayu w "Command Decision". Pod koniec lat 40. filmowa wersja "Command Decision" (1948) z Clarkiem Gablem została jednak nakręcona bez Whitmore'a w obsadzie. Rozczarowanie jednak nie trwało długo. Wystąpił w pierwszoplanowej roli w filmie "Undercover Man" (1949) obok Glenna Forda i Niny Foch. W tym samym roku zagrał również w "Battleground" (1949). Mało przystojny jednak utalentowany i charyzmatyczny najczęściej był obsadzany w rolach drugoplanowych. W latach 50. pojawił się u boku Nancy Davis w dramacie "Next Voice You Hear ..." (1950); w "Mrs. O'Malley and Mr. Malone" (1950) w "The Asphalt Jungle" (1950) i w "Above and Beyond" (1952) z Robertem Taylorem. W "Kiss Me Kate" (1953) współpracował z Keenanem Wynnem oraz zagrał w "Them!" (1954). W "Crime in the Streets" (1956) wcielił się w pracownika socjalnego a w "The Eddy Duchin Story" (1956) w kierownika Tyrone Powera. W późnych latach 50. Zaczął pojawiać się w "The Twilight Zone", w "The Detectives", "Ben Casey". Wystąpił także w "Law and Mr Jones" (1960), który trwał dwa sezony. Znane były jego kreacje z "Black Like Me" (1964), z "Madigan" (1968), z "Planet of the Apes" (1968). Rozwiódł się z Nancy po 20 latach i ożenił się z aktorką Audrą Lindley w 1972 roku. Małżeństwo przetrwało 7 lat. W latach 70. Whitmore wcielał się w Willa Rogersa, Harry'ego Trumana i Theodore'a Roosevelta, które to kreacje przyniosły mu drugą nominację do Oscara. Whitmore pokazał swój potencjał godny Oscara po raz kolejny we wzruszającej roli w "Shawshank Redemption" (1994) a pod koniec lat 90. otrzymał nagrodę Emmy za udział w "The Practice". Jego namiętnością było ogrodnictwo i dlatego został rzecznikiem Miracle-Gro plant food. 24 marca 1979 ponownie ożenił się ze swoją pierwszą żoną, jednak rozwiódł się z nią krótko przed ślubem z czwartą żoną, aktorką Noreen Nash, którą poślubił w wieku 80 lat (7 sierpnia 2001). Ma troje dzieci: James Jr. (ur. 24.10.1948); Steve i Dan. Dziadek aktora Jamesa III. Dożył ośmiorga wnucząt.