Церковь расположена у подножия горы, в отличие от других саровских храмов и монастыря, и стоит на высоком арочном основании. Это объясняется тем, что она была построена прямо над источником, который когда-то бил из-под горы и давал начало ручью, впадавшему в реку Сатис. Рядом с этим источником появились первые постройки монахов, поселение которых позже стало Саровской пустынью. Первоначально строитель Иоанн планировал возвести первый храм Саровской пустыни именно здесь, но позже изменил свое решение. Поэтому церковь неофициально называют храмом над колодцем Первоначальника.

Строительство каменной церкви в честь Иоанна Предтечи над источником началось при строителе Филарете в 1747-1749 годах, было продолжено при Маркелле в 1749-1751 годах и завершилось освящением 13 сентября 1752 года. Церковь была небольшой, однопрестольной, с одной главой. Название церкви над источником А. Н. Муравьёв объяснял так: «весьма прилично посвящена она Крестителю, над водами, на коих совершается освящение Иорданское».

В 1812 году была построена каменная лестница, ведущая вниз к церкви по крутому склону. Её возводила бригада темниковских каменщиков под руководством купца Андрея Мартыновича Ситникова и мещанина Ивана Алексеевича Телятникова.

Церковь в первоначальном виде простояла около 70 лет. В 1820 году Саров посетил астраханский рыбопромышленник коллежский ассесор Кирилл Федорович Федоров, который пожелал пожертвовать средства на расширение храма. В 1821 году старая церковь была разобрана, и началось строительство новой. Работы завершились в 1824 году, на них Федоров пожертвовал 30 580 рублей, а еще 10 тысяч рублей он передал на содержание храма.

По желанию Федорова церковь была сделана трехпрестольной: главный престол был посвящен Иоанну Предтече, а два дополнительных, апостолу Иакову Алфееву и Кириллу Иерусалимскому, святым дня рождения и тезоименитства жертвователя.

Главный престол освятил епископ Тамбовский Афанасий Телятьев 19 июня 1827 года. Левый престол, в честь Иакова Алфеева, был освящен настоятелем Нифонтом 30 сентября 1828 года, а правый, епископом Тамбовским Арсением Москвиным 1 июля 1834 года. Новая церковь в стиле классицизма имела пять глав и размеры 21 метр в длину, 15 в ширину и 38 в высоту. Она не отапливалась. Арзамасский писатель и краевед Еремеев предположил, что автором проекта был архитектор М. П. Коринфский, создавший Воскресенский собор в Арзамасе.

Одновременно с возведением церкви шло строительство монастырского водопровода. Вода из источника под церковью подавалась насосом наверх. Это осуществлялось с помощью машины с одноконным приводом. Резервуар для воды объемом 500 ведер находился в северо-восточной угловой башне, получившей название Водяной. Из бака вода поступала по деревянным трубам в квасоварню, хлебную, больницу и другие здания. Чугунные части водоподъемной машины были изготовлены на Выксунском заводе в 1823 году. Проектировал и строил водопровод мастер Егор Михайлов, плотник из Нижегородской губернии, который в 1841 году переехал в Саровскую пустынь, а в 1845 году принял монашество с именем Михаил. Все строительные работы в обители в 1840-х годах проходили под его руководством, включая перестройки церквей и строительство купеческой гостиницы.

Источник под церковью Иоанна Предтечи использовался не только для водопровода. К бассейну, в который был заключен источник, по праздникам совершался крестный ход, и служились молебны с водоосвящением.

В 1893 году своды над колодцем под церковью были отделаны и расписаны, арки закрыты застекленными решетками. Годом ранее, в 1892 году, склон холма у церкви был укреплен кирпичной кладкой и контрфорсами.

В советские годы здание храма использовалось как административное, а источник Первоначальника был забит и замурован. Церковь Иоанна Предтечи сохранилась в измененном виде: купола были снесены, внутренний объем разделен на этажи. Во время реставрации храма источник Первоначальника был найден и восстановлен, включая старинные лиственничные венцы колодезного сруба. Реставрация завершилась в конце июля 2006 года. Во время празднования 300-летия основания Саровской пустыни храм Иоанна Предтечи был вновь освящен Святейшим Патриархом Московским и всея Руси Алексием II.