Die Kirche befindet sich am Fuße des Berges, im Gegensatz zu anderen Sarower Tempeln und dem Kloster, und steht auf einem hohen gewölbten Fundament. Dies erklärt sich dadurch, dass sie direkt über einer Quelle erbaut wurde, die einst aus dem Berg sprudelte und einen Bach speiste, der in den Fluss Satis mündete. Neben dieser Quelle entstanden die ersten Gebäude der Mönche, deren Siedlung später zur Sarowskaja Pustyn wurde. Ursprünglich plante der Baumeister Johannes, den ersten Tempel der Sarowskaja Pustyn genau hier zu errichten, änderte jedoch später seine Entscheidung. Daher wird die Kirche inoffiziell als Tempel über dem Brunnen des Urvaters bezeichnet.

Der Bau der steinernen Kirche zu Ehren des Heiligen Johannes des Täufers über der Quelle begann unter dem Baumeister Filaret in den Jahren 1747-1749, wurde unter Markell in den Jahren 1749-1751 fortgesetzt und wurde am 13. September 1752 geweiht. Die Kirche war klein, einräumig, mit einer Kuppel. Der Name der Kirche über der Quelle wurde von A. N. Murawjow so erklärt: „Sie ist sehr angemessen dem Täufer gewidmet, über den Wassern, auf denen die Jordanweihe vollzogen wird.“

Im Jahr 1812 wurde eine steinerne Treppe gebaut, die steil zur Kirche hinunterführt. Sie wurde von einer Brigade von Steinmetzen aus Temnik unter der Leitung des Kaufmanns Andrei Martynovich Sitnikov und des Bürgers Ivan Alexeyevich Telyatnikov errichtet.

Die Kirche im ursprünglichen Zustand stand etwa 70 Jahre. Im Jahr 1820 besuchte der astrakhanische Fischereiproduzent und Kollegialassessor Kirill Fyodorovich Fyodorov Sarow, der bereit war, Mittel für die Erweiterung des Tempels zu spenden. Im Jahr 1821 wurde die alte Kirche abgerissen und der Bau einer neuen begann. Die Arbeiten wurden 1824 abgeschlossen, wobei Fyodorov 30.580 Rubel spendete und weitere 10.000 Rubel für den Unterhalt des Tempels übergab.

Auf Wunsch von Fyodorov wurde die Kirche dreischiffig gestaltet: Der Hauptaltar wurde Johannes dem Täufer gewidmet, und zwei weitere Altäre dem Apostel Jakobus dem Gerechten und dem heiligen Kyrill von Jerusalem, den Heiligen des Geburts- und Namensfestes des Spenders.

Der Hauptaltar wurde am 19. Juni 1827 von Bischof Athanasius Telyatyev von Tambow geweiht. Der linke Altar, zu Ehren Jakobus des Gerechten, wurde am 30. September 1828 von dem Abt Niphont geweiht, und der rechte Altar, von Bischof Arsenius Moskvyn von Tambow am 1. Juli 1834. Die neue Kirche im klassizistischen Stil hatte fünf Kuppeln und Maße von 21 Metern Länge, 15 Metern Breite und 38 Metern Höhe. Sie war nicht beheizt. Der Arzamassker Schriftsteller und Heimatforscher Eremeev vermutete, dass der Architekt M. P. Korinfski, der die Auferstehungskathedrale in Arzamas entworfen hatte, der Autor des Projekts war.

Gleichzeitig mit dem Bau der Kirche wurde die Klosterwasserleitung errichtet. Das Wasser aus der Quelle unter der Kirche wurde mit einer Pumpe nach oben geleitet. Dies geschah mit Hilfe einer Maschine mit einem einseitigen Antrieb. Der Wassertank mit einem Volumen von 500 Eimern befand sich im nordöstlichen Eckturm, der den Namen Wasser-Turm erhielt. Aus dem Tank floss das Wasser durch Holzrohre in die Bierbrauerei, die Bäckerei, das Krankenhaus und andere Gebäude. Die Gusseisenbestandteile der Wasserhebemaschine wurden 1823 in der Wyksun-Werkstatt hergestellt. Der Meister Egor Michailov, ein Zimmermann aus der Provinz Nischni Nowgorod, entwarf und baute die Wasserleitung, der 1841 in die Sarowskaja Pustyn zog und 1845 das Mönchsleben unter dem Namen Michael annahm. Alle Bauarbeiten im Kloster in den 1840er Jahren fanden unter seiner Leitung statt, einschließlich der Umbauten der Kirchen und dem Bau eines Kaufmannshotels.

Die Quelle unter der Kirche des Heiligen Johannes des Täufers wurde nicht nur für die Wasserleitung genutzt. Zu den Feiertagen wurde ein Kreuzgang zum Becken, in dem die Quelle gefasst war, durchgeführt, und es wurden Gebete mit Wasserweihe gehalten.

Im Jahr 1893 wurden die Gewölbe über dem Brunnen unter der Kirche verziert und bemalt, die Bögen wurden mit verglasten Gittern geschlossen. Im Jahr zuvor, 1892, wurde der Hang des Hügels bei der Kirche mit Ziegelmauerwerk und Strebepfeilern gesichert.

In den sowjetischen Jahren wurde das Gebäude der Kirche als Verwaltungsgebäude genutzt, und die Quelle des Urvaters wurde verstopft und zugemauert. Die Kirche des Heiligen Johannes des Täufers blieb in veränderter Form erhalten: Die Kuppeln wurden abgerissen, der Innenraum wurde in Etagen unterteilt. Während der Restaurierung der Kirche wurde die Quelle des Urvaters gefunden und wiederhergestellt, einschließlich der alten Lärchenkränze des Brunnenstamms. Die Restaurierung wurde Ende Juli 2006 abgeschlossen. Während der Feierlichkeiten zum 300-jährigen Bestehen der Sarowskaja Pustyn wurde die Kirche des Heiligen Johannes des Täufers erneut von Seiner Heiligkeit Patriarch Alexius II. von Moskau und ganz Russland geweiht.