Баща му е президент на фирма за понички. Следва в Харвард, където е член на Клуба по драматични изкуства. Служи във флота, а после работи като пианист.
Дебютът му в киното е през 1954, когато играе с Джуди Холидей в Phffft!. На следващата година печели Оскар за най-добра второстепенна мъжка роля в Mister Roberts (1955). Има 6 номинации за Оскар: за Някои го предпочитат горещо (1959), Апартаментът (1960), Days of Wine and Roses (1962), Китайски синдром (1979), Tribute (1980) и Missing (1982). Има Оскар за най-добра главна мъжка роля за Save the Tiger (1973) и наградата на кинофестивала в Кан за най-добър актьор за Китайски синдром и Missing.
Дебютът му като режисьор е през 1971 с филма Kotch.