A finales del siglo XIX, en el pueblo de Ustye y en la aldea de Petrovka, había cinco iglesias de piedra y una capilla, algunas de las cuales fueron construidas en el lugar de antiguas de madera. Los habitantes de Ustye y de las aldeas cercanas participaron activamente en su construcción y embellecimiento. La belleza del pueblo se realzaba con el conjunto arquitectónico del cementerio de la Resurrección, que se puede considerar un museo al aire libre. La construcción de la iglesia de la Resurrección, el edificio más antiguo aquí, comenzó en 1763 y se completó en 1773. En 1784, se añadió un pórtico con campanario a su pared occidental.

Junto a la iglesia de la Resurrección se encuentra el templo de Nicolás, construido entre 1820 y 1836. Su plano y fachada fueron tomados de la catedral de Vologda. Durante la época soviética, el templo fue abandonado y se encontraba en un estado lamentable. En 1999, se volvió a registrar la parroquia de la Resurrección y comenzaron los trabajos de restauración en la iglesia de San Nicolás. Actualmente, la iglesia está en funcionamiento y el primer piso es accesible.

En 1841, se construyó una cerca de piedra alrededor de estos templos. Los postes de la cerca y las rejas estaban decorados con jarrones de barro de color verde. En el lado este, en lugar de una cerca, se hicieron pequeños bancos de piedra, al sur había una caseta de vigilancia con dos ventanas, y al norte, un espacio para los utensilios de la iglesia. En 1875, la torre noreste de la cerca fue orientada hacia la parte de la cerca con las puertas sagradas, donde se construyó una capilla en honor al venerable Joasaf y al bienaventurado Basilio, los santos de Kamensk. En 2008, comenzaron los trabajos para erigir la parte occidental de la cerca.