En 1711, sur ordre de l'Archevêque de Veliki Oustioug, Joseph, une petite église dédiée à la Préparation de la Pentecôte a été érigée au-dessus de la tombe du Vénérable Cyprien d'Oustioug. Bien que la décoration des façades de cette église soit moins riche comparée à d'autres églises d'Oustioug du début du XVIIIe siècle, elle avait tout de même ses particularités. Les pilastres entre les fenêtres et aux coins de la façade étaient complétés par deux rouleaux horizontaux, courant le long de toute la façade au-dessus et en dessous des fenêtres, ainsi que par des rouleaux verticaux de chaque côté et un troisième rouleau sous le corniche du carré. Pour la première fois dans l'architecture oustiougienne, des encadrements en forme de sourcils dessinés ont été utilisés pour décorer les fenêtres du carré, donnant à l'édifice un aspect festif. Au milieu du XVIIIe siècle, un porche en pierre a été ajouté du côté ouest de l'église, dont la décoration répétait celle du carré. En 1809, deux petites annexes en pierre ont été ajoutées du côté nord, dont l'une est devenue en 1848 une chapelle au nom du Vénérable Cyprien. Depuis 1842, une salle à manger a été ajoutée du côté ouest de l'église, à laquelle une véranda en bois a été ajoutée en 1845, et une véranda en briques en 1910. Au début du XXe siècle, en raison des nombreuses annexes, la petite église de la Préparation a triplé de taille.

Dans le monastère, le Vénérable Cyprien était vénéré, dont les reliques reposent sous le sol dans l'église de la Préparation de la Pentecôte depuis 2004. Au XIXe siècle, une tombe en pierre a été érigée au-dessus de sa sépulture, avec une image du saint sur toile, et une pierre a été placée, l'une de celles que, selon la légende, le saint Cyprien utilisait pour marquer les frontières du monastère. À la porte du monastère, à l'endroit de la mort du bienheureux Prokopy d'Oustioug, un crucifix en bois a été installé au XIVe siècle, qui a été remplacé par un crucifix en pierre blanche au XVIIe siècle. En 1707, le crucifix a été encadré d'un cadre d'icône représentant les Passions du Christ, et en 1737, lors de la construction de la clôture en pierre, il a été transféré dans la salle à manger de l'église de l'Introduction. Il se trouve maintenant dans la collection du musée-réserve de Veliki Oustioug. Au début du XIXe siècle, une chapelle en pierre a été construite à l'endroit de la mort du moine. L'icône « Assemblée de l'archange Michel » de la fin du XIIIe siècle, qui se trouvait dans l'église de l'Archange du monastère, est maintenant conservée au Musée Russe d'État.