Im Zentrum des östlichen Gebäudes befinden sich die Hauptzugangstore, über denen die Peter-Pauls-Kirche thront. Ursprünglich wurde hier 1692 eine Kirche zu Ehren des heiligen Ephräm des Syrers erbaut, die später in die Kirche zu Ehren der Apostel Peter und Paul umbenannt wurde.

Im Jahr 1770 ereignete sich im Kloster ein großer Brand, der die Kirchen schwer beschädigte, einschließlich der übertorigen Kirche des heiligen Ephräm des Syrers und der Krankenhauskirche zu Ehren der Solowezker Wundertäter Zosima und Savvatij. Nach der Wiederherstellung wurde beschlossen, die übertorige Kirche zu Ehren der Apostel Peter und Paul zu weihen, während in der Krankenhauskirche eine Kapelle zu Ehren des heiligen Ephräm des Syrers eingerichtet wurde.

Am 12. Juli 2005, am Tag des Patronatsfestes, fand in der Kirche der Apostel Peter und Paul die erste Göttliche Liturgie statt, die von Mönchen des Höhlenklosters unter der Leitung von Abt Tikhon gefeiert wurde. Nach dem Gottesdienst fand eine Prozession zur wiederhergestellten Grabstätte des Fürsten Boris Golizyn statt, und es wurde ein Gedenkgottesdienst für die verstorbenen Vorsteher des Klosters abgehalten.

Im August 2009 vollendeten die Künstler der Werkstatt „Tradition“ an der Nischni-Nowgoroder Kirche des heiligen Alexander Newski die Malerei des Altars der übertorigen Kirche zu Ehren der Apostel Peter und Paul, wobei sie als Vorlagen byzantinische Arbeiten des 12. Jahrhunderts verwendeten. Die gesamte Kirche wurde bis Ende 2012 vollständig ausgemalt, da die Arbeiten sorgfältig und in Ruhe durchgeführt wurden. Am 14. Dezember 2012 führte der Bischof von Vykhsa und Pavlovsk, Varnafa, die Zeremonie der großen Weihe der Kirche durch.