Les chapelles dédiées à Prokopiy d'Ustyug et à Ioann d'Ustyug ont été érigées en 1817 et 1820. Elles se trouvent à l'endroit où, selon la légende, en 1303, sur le pont aux portes du monastère, le fou d'Ustyug Prokopiy, ami du fondateur du monastère Kipriyan, est décédé. Dans le Chroniqueur P. Yurinski, il est mentionné que la première chapelle de Prokopiy a été installée dès 1493.