Syn misjonarzy, James Franklin Schaffner urodził się 30 maja 1920 roku w Tokio. Po nagłej śmierci ojca w 1926 roku, jego matka wróciła do Stanów Zjednoczonych wraz z jego dwoma siostrami Louise i Isabelle, osiedlając się w Lancaster.W 1942 ukończył Franklin and Marshall College, a następnie służył jako porucznik United States Navy's Forces w czasie II wojny światowej. Po odbyciu służby wojskowej pracował jako fotograf dla magazynu "March of Time", a następnie jako reżyser telewizyjny. W kinie zadebiutował filmem "The Stripper"(1963). Był żonaty z Helen Jane Gilchrist (od 1948), miał dwoje dzieci. Zmarł 2 Lipca 1989 w Santa Monica.