Aktorka urodziła się 12 marca 1917 roku w Karaczi. Rola w filmie The Girl in the Crowd z 1935 r. była jej debiutem. Zagrała w ponad 50 produkcjach, a także pojawiała się na Broadwayu. Jedak najbardziej rozpoznawalną jej rolą pozostaje rola Blanche w thrillerze Alfreda Hitchcocka Starsza pani znika. Ostatnim jej filmem był Blask. Zagrała u boku Geoffreya Rusha i Armina Mueller-Stahla. Za swoją rolę nominowana została do Amerykańskiej Gildii Aktorów Filmowych. Była dwukrotnie zamężna. W 1958 roku aktorka ze swoim drugim mężem Johnem McCallumem (również aktorem, zmarł w 2010 r.) przeprowadzili się do Australii. Mieli 3 dzieci. W 1980 roku Withers otrzymała z Order of Australia (pierwsza w historii nie-Australijka) za zasługi dla australijskiego teatru, a w 2002 r. Order Imperium Brytyjskiego.