Nace en Plainfield, Nueva Jersey, en 1917. En 1934 se matricula en el Philadelphia Museum School of Industrial Art. En 1937 se hace con su primera cámara, una Rolleiflex. Comienza a trabajar por las tardes y durante los fines de semana en el estudio de diseño de Alexey Brodovitch.

Licenciado en diseño industrial, pintor de vocación y neoyorquino de adopción, Penn comenzó a trabajar para Vogue USA en los años cuarenta. La cabecera supuso su consagración como fotógrafo y el mejor escaparate desde el que mostrar sus fotografías a las tendencias de la Alta Costura parisina, sus bodegones y sus retratos de algunos de los personajes más célebres de la Historia reciente.

Irving Penn marcó con su técnica un antes y un después en la fotografía de moda apoyado en un enfoque vanguardista, el uso agresivo del contraste en el blanco y negro, y el tratamiento de los retratados como objetos. La sencillez era su marca y en base a ella Irving Penn sacaba a la luz lo mejor de aquello que retrataba, ya fuera una modelo, un personaje famoso o un objeto. En sus fotografías, el sujeto solía posar ante un sencillo fondo blanco o gris, usando la simplicidad más efectivamente que otros fotógrafos del momento. Permaneció fiel durante toda su vida a las tomas en estudio y bajo determinadas condiciones de iluminación.

A finales de los sesenta viajó a Latinoamérica y África, donde trasladó su estudio portátil, para fotografiar nativos pero descontextualizados de su hábitat, con su misma técnica de fondo.

En 1950, se casó con la modelo Lisa Fonssagrives, con quien tuvo un hijo llamado Tom. Tres años después, fundó su estudio fotográfico. Quedó viudo en 1992, cuando Fonssagrives tenía 80 años.

Recibió el premio Hasselblad en 1985, y dos años más tarde fue galardonado con el Premio de Cultura de la Asociación Alemana de Fotografía.