Im Jahr 1709 wurde in den Untergeschossen eine Kirche erbaut. Ihre Maße betragen 9 mal 6 Meter, und das Gewölbe wird von vier Säulen getragen, von denen jede einen Durchmesser von über einem Meter hat. Die Genehmigung zur Weihe der unterirdischen Kirche zu erhalten, erwies sich als schwierige Aufgabe. Der Metropolit Stefan Jaworski, der die Pflichten des Patriarchen übernahm, gab die Erlaubnis zur Eröffnung der Kirche erst am 30. Mai 1711 nach dem Gesuch der Prinzessinnen Maria und Theodosia, Schwestern von Peter I. Sie schenkten der Kirche einen Ikonostase mit Ikonen, liturgische Bücher, Zinngefäße, Gewänder, Geld und vierzehn Teile der Reliquien der Kiewer Höhlenheiligen, die unter dem Altar aufbewahrt wurden.

Die Gottesdienste in der unterirdischen Kirche fanden bis in die 1730er Jahre statt. Aufgrund unzureichender Belüftung beschädigte die Feuchtigkeit das Holz und die Bücher. Nach dem Weggang und dem Tod des Gründers des Klosters, Ioann, wurde die Kirche lange Zeit nicht genutzt.

Im August 1778, während der Weihe der neuen Uspensky-Kathedrale in der Sarovskaya Pustyn, besuchte der Bischof von Wladimir, Hieronymus, die unterirdische Kirche und schlug vor, die Gottesdienste dort wieder aufzunehmen. Dafür war eine Renovierung erforderlich. Der Penzaer Nikolai Afanasjewitsch Radischew, der Vater des Schriftstellers A.N. Radischew, bot seine Hilfe an. Er erwarb eine Marmorplatte für den Altar, die in St. Petersburg hergestellt wurde. Außerdem wurde ein gusseiserner Ikonostase angefertigt, ein Belüftungsschacht installiert und darüber eine Kuppel mit einem Kreuz errichtet. Nach der Renovierung weihte Bischof Hieronymus die Kirche am 15. August 1780.

Wegen der Feuchtigkeit musste der Ikonostase und die Kirchenutensilien in der Kirche von Antonij und Theodosius erneuert werden. Unter dem Abt Joseph wurde der gusseiserne Ikonostase durch einen kupfernen, versilberten mit vergoldeten Ikonen ersetzt. Der Ikonostase hatte eine Länge von 5,6 Metern und eine Höhe von 2,1 Metern. Die Gottesdienste fanden einmal im Jahr am Gedenktag der Kiewer Höhlenheiligen statt, während die Höhlen für Exkursionen genutzt wurden.

Am 18. Juli 1903, während der Heiligsprechung von Seraphim von Sarov, besuchte Nikolaus II. die Höhlen.

In der Sowjetzeit wurden die Eingänge zu den Höhlen mit Müll zugeschüttet. Im Jahr 1992 entdeckte die Vereinigung "Sarovskaya Pustyn" den Eingang zu den Höhlen und eine Inschrift auf einem der Säulen: "Im Jahr 7199. Vom Geburtsjahr Christi 1691, Indiktion 14, wurde mit dem Graben dieser Höhle begonnen. Im Jahr 1711, Indiktion 6, wurde diese Kirche der heiligen Väter Antonij und Theodosius der Höhlen geweiht."

Im Jahr 1995 wurde der Höhlenkomplex an das städtische Museum übergeben. In den Jahren 2000-2002 wurde eine Renovierung durchgeführt: über 300 Meter Galerien wurden freigeräumt, der Eingang und ein Notausgang eingerichtet, gefährliche Stellen gesichert, die Belüftungsschächte wiederhergestellt und Beleuchtung installiert. Im Jahr 2003 wurde ein metallener Ikonostase in der Kirche von Antonij und Theodosius installiert. Im Jahr 2006 wurde der Komplex an die Russische Orthodoxe Kirche übergeben.

Am 6. September 2011 weihte Erzbischof Georgij die Höhlenkirche zu Ehren von Antonij und Theodosius der Kiewer Höhlen. Derzeit sind etwa 400 Meter unterirdische Gänge wiederhergestellt.