Au centre du corps oriental se trouvent les principales portes d'entrée, au-dessus desquelles s'élève l'église de Pierre et Paul. À l'origine, en 1692, une église a été construite ici en l'honneur de saint Éphrem le Syrien, mais elle a ensuite été renommée en l'honneur des apôtres Pierre et Paul.

En 1770, un grand incendie a eu lieu dans le monastère, endommageant gravement les églises, y compris l'église de saint Éphrem le Syrien et l'église hospitalière en l'honneur des saints Zosime et Savvaty de Solovki. Après la restauration, il a été décidé de consacrer l'église en l'honneur des apôtres Pierre et Paul, et de créer une chapelle dans l'église hospitalière dédiée à saint Éphrem le Syrien.

Le 12 juillet 2005, lors de la fête patronale, la première Divine Liturgie a eu lieu dans l'église des apôtres Pierre et Paul, célébrée par des moines du monastère des Grottes sous la direction de l'abbé Tikhon. Après le service, une procession a eu lieu vers la tombe restaurée du prince Boris Golitsyn, et une liturgie a été célébrée pour les anciens abbés du monastère.

En août 2009, les artistes de l'atelier « Tradition » près de la cathédrale de Nizhny Novgorod de saint Alexandre Nevski ont terminé la peinture de l'autel de l'église en l'honneur des apôtres Pierre et Paul, en utilisant comme modèles des œuvres byzantines du XIIe siècle. L'église a été entièrement peinte d'ici la fin de 2012, car les travaux ont été réalisés avec soin et sans hâte. Le 14 décembre 2012, l'évêque de Vyksa et Pavlovsk, Varvara, a célébré la grande consécration de l'église.