Nació el 21 de abril de 1897, cerca de La Jose, en Pensilvania, hijo de una familia de agricultores que después se mudó a Akron, Ohio. Creció sin una formación religiosa firme, pero a los 17 años, en 1915, se convirtió al escuchar a un predicador callejero instar a los oyentes a clamar a Dios por misericordia.
A partir de entonces, devoró libros de teología, historia de la iglesia y místicos cristianos en bibliotecas y librerías de viejo, sin cursar jamás un seminario. Esa formación autodidacta, que atravesaba tradiciones protestantes, católicas y cuáqueras, daría a su futura predicación un tono poco común entre los pastores evangélicos de su tiempo.
En 1919 inició su pastorado en la Alianza Cristiana y Misionera, sirviendo a pequeñas congregaciones en Virginia Occidental e Indiana. En 1928 asumió la Iglesia Southside Alliance, en Chicago, donde permanecería por 31 años, llegando a ser conocido por sermones más preocupados por la presencia de Dios que por métodos de crecimiento.
Se casó con Ada Cecelia Pfautz, con quien tuvo siete hijos, seis varones y una niña. Tozer vivía absorto en el estudio, la escritura y los viajes, y biógrafos, sobre todo Lyle Dorsett, documentan que fue un padre emocionalmente distante, dejando a Ada prácticamente sola en la crianza de los hijos, además de un ministerio informal de acogida a los pobres y solitarios de la iglesia. Después de enviudar y casarse de nuevo, Ada llegó a decir que nunca había sido tan feliz como en su segundo matrimonio, una señal del precio que la dedicación de Tozer le cobró a su propia familia.
En 1948 publicó En pos de Dios, un breve tratado sobre la intimidad con Dios que se convertiría en un clásico de la espiritualidad evangélica. A partir de 1950 pasó a editar el periódico de la Alianza Cristiana y Misionera, usando ese espacio para dialogar con toda la iglesia evangélica, lo que incomodó a pastores que esperaban un boletín solo denominacional.
En 1959, ya con doctorados honorarios de Wheaton College y Houghton College, dejó Chicago para pastorear la Avenue Road Church, en Toronto, donde permanecería hasta su muerte. Publicó además La raíz de los justos, en 1955, y El conocimiento del Santísimo, en 1961, profundizando su defensa de una fe más contemplativa y menos activista.
Murió en Toronto, de madrugada, el 12 de mayo de 1963, de trombosis coronaria, a los 66 años. Se realizaron cultos memoriales en Toronto y en Chicago, y sus restos fueron, más tarde, trasladados a Akron, Ohio, la ciudad que lo vio crecer.
Sus libros, muchos organizados después de su muerte a partir de sermones y anotaciones, siguen formando a generaciones de cristianos que buscan una fe más profunda que el activismo religioso. Su insistencia en buscar la presencia de Dios, y no solo doctrina sobre Dios, permanece como un llamado vivo a la iglesia de hoy.