Nasceu em 21 de abril de 1897, perto de La Jose, na Pensilvânia, filho de uma família de agricultores que depois se mudou para Akron, Ohio. Cresceu sem formação religiosa firme, mas aos 17 anos, em 1915, converteu-se ao ouvir um pregador de rua instar os ouvintes a clamar a Deus por misericórdia.
A partir dali, devorou livros de teologia, história da igreja e místicos cristãos em bibliotecas e sebos, sem nunca cursar um seminário. Essa formação autodidata, que atravessava tradições protestantes, católicas e quacres, daria à sua futura pregação um tom pouco comum entre pastores evangélicos de seu tempo.
Em 1919 iniciou o pastorado na Aliança Cristã e Missionária, servindo pequenas congregações na Virgínia Ocidental e em Indiana. Em 1928 assumiu a Igreja Southside Alliance, em Chicago, onde permaneceria por 31 anos, tornando-se conhecido por sermões mais preocupados com a presença de Deus do que com métodos de crescimento.
Casou-se com Ada Cecelia Pfautz, com quem teve sete filhos, seis meninos e uma menina. Tozer vivia absorto em estudo, escrita e viagens, e biógrafos, sobretudo Lyle Dorsett, documentam que ele foi um pai emocionalmente distante, deixando Ada praticamente sozinha na criação dos filhos, além de um ministério informal de acolhida aos pobres e solitários da igreja. Depois de enviuvar e casar de novo, Ada chegou a dizer que nunca fora tão feliz quanto no segundo casamento, um sinal do preço que a dedicação de Tozer cobrou da própria família.
Em 1948 publicou Em Busca de Deus, tratado breve sobre a intimidade com Deus que se tornaria um clássico da espiritualidade evangélica. A partir de 1950 passou a editar o periódico da Aliança Cristã e Missionária, usando o espaço para dialogar com toda a igreja evangélica, o que incomodou pastores que esperavam um boletim só denominacional.
Em 1959, já com doutorados honorários de Wheaton College e Houghton College, deixou Chicago para pastorear a Avenue Road Church, em Toronto, onde ficaria até morrer. Publicou ainda A Raiz dos Justos, em 1955, e O Conhecimento do Santo, em 1961, aprofundando sua defesa de uma fé mais contemplativa e menos ativista.
Morreu em Toronto, na madrugada de 12 de maio de 1963, de trombose coronariana, aos 66 anos. Cultos memoriais foram realizados em Toronto e em Chicago, e seus restos foram, mais tarde, transferidos para Akron, Ohio, a cidade que o viu crescer.
Seus livros, muitos organizados após a morte a partir de sermões e anotações, continuam formando gerações de cristãos que buscam uma fé mais profunda do que ativismo religioso. Sua insistência em buscar a presença de Deus, e não apenas doutrina sobre Deus, permanece um chamado vivo à igreja de hoje.