Ajayi nasceu por volta de 1807, em Osogun, no atual sudoeste da Nigéria. Por volta de 1821, ainda criança, foi capturado por invasores, vendido várias vezes e por fim entregue a traficantes portugueses. Sua família também foi capturada.
A marinha britânica interceptou o navio e o levou a Serra Leoa, onde foi libertado. Foi batizado em 1825, com o nome Samuel Crowther, e foi um dos primeiros alunos da escola de Fourah Bay, criada pela Sociedade Missionária da Igreja (CMS).
Em 1841 acompanhou a expedição ao rio Níger. Estudou em Londres e foi ordenado diácono (auxiliar do ministério) em 11 de junho de 1843 e sacerdote em 1º de outubro do mesmo ano. Depois trabalhou em Abeokuta, no país iorubá, onde reencontrou parentes: sua mãe e sua irmã se converteram por meio dele.
Se dedicou às línguas: teve papel central na tradução da Bíblia para o iorubá e escreveu um vocabulário da língua, além de material básico em nupe e igbo. Em 1857 abriu a missão do Níger, com equipe africana, e em 29 de junho de 1864 foi consagrado bispo, na catedral de Cantuária.
Nos anos 1880, já idoso e com Henry Venn, o secretário da CMS que o apoiava, morto, viu missionários europeus mais jovens questionarem a conduta e a competência de seus auxiliares africanos. A missão foi desmontada com controle de verbas, troca de lideranças e demissão de africanos, e isso o abalou muito. Alguns reclamavam de falhas na administração, mas historiadores também veem preconceito racial na pressão.
Morreu de derrame (AVC) em Lagos, em 31 de dezembro de 1891. Sua vida mostra que Deus pode usar quem passou pela dor da escravidão para levar o evangelho ao próprio povo. Mostra também o preço de ser pioneiro.