En 1895, une nouvelle église en pierre dédiée à la Sainte Vendredi a été construite dans le village de Kouvshinnoïe, avec trois autels. Selon les données du « Livre de référence sur les églises, paroisses et clergés de l'Éparchie de Koursk », en 1908, la paroisse de l'église comprenait, en plus du village de Kouvshinnoïe, les villages d'Aliabieva, Belomestnoïe, Tchouïkova, Khvostova, Iéremina et Maïkova, où vivaient 1166 personnes. Depuis 1883, le prêtre de l'église était Vassili Mikhaïlovitch Khorochilov, depuis 1894, le diacre était Dimitri Grigorievitch Popov, et depuis 1854, le psalmiste, Ivan Georgievitch Shafranov.

Dans la paroisse, deux écoles rurales fonctionnaient : dans les villages d'Aliabieva et de Khvostova. Le protecteur des deux écoles était le noble Alexandre Sergueïevitch Perfilev de Karassiovka, et le professeur de loi, le prêtre Alexeï Khorochilov. L'institutrice de l'école d'Aliabieva était la noble Lidia Vassilievna Tolmacheva, et à Khvostova, Olympiada Ivanovna Novoselskaya.

On peut juger de l'apparence extérieure et de la décoration intérieure de l'église par la carte d'assurance du 5 juillet 1910, conservée à l'Archives d'État de l'Histoire de Russie à Saint-Pétersbourg. Selon la carte, l'église Spaso-Piatnitskaïa était en pierre, non crépie à l'extérieur, mais peinte à l'huile. Le toit était recouvert de fer peint en vert. La longueur de l'église, y compris le clocher, était de 15 sajenes (32 mètres), la largeur de 10 2/3 sajenes (environ 23 mètres), et la hauteur jusqu'au corniche de 3 ½ sajenes (7,5 mètres). L'église avait une grande coupole et 26 grandes fenêtres, ainsi que trois portes extérieures à deux battants. À l'intérieur, elle était crépie et avait six portes intérieures à deux battants. Le retable, long de 30 arshins (plus de 21 mètres) et haut de 15 arshins (10,5 mètres), était évalué à 2000 roubles. L'église n'était pas chauffée.

Le clocher de l'église était à deux niveaux, avec une hauteur jusqu'au corniche de 4 ½ sajenes (9,6 mètres). Le bâtiment le plus proche de l'église était la maison du prêtre, située au sud-est à environ 100 sajenes (un peu plus de 200 mètres).

En 1910, l'église était en bon état et, avec le retable et le clocher, était évaluée à 10000 roubles.

Près de l'église, une garderie était construite, longue de 20 arshins (14 mètres), large de 10 arshins (7 mètres) et haute de 4 arshins (2,8 mètres). Ses murs en bois étaient recouverts de fer. La garderie avait 12 fenêtres et 4 portes. Il était prévu de terminer la construction d'ici la fin de 1910, et son évaluation d'assurance était de 1000 roubles.

Après la publication du décret du SNK de la RSFSR du 23 janvier 1918 « Sur la séparation de l'église de l'État et de l'école de l'église », l'église de la Sainte Vendredi a continué à fonctionner sur la base d'un accord entre les habitants du village de Kouvshinnoïe et le Conseil des députés ouvriers, paysans et soldats du district de Koursk.

Malgré les protestations, particulièrement actives en 1930, l'église de la Sainte Vendredi à Kouvshinnoïe a été fermée par décision du présidium de l'exécutif régional de Koursk du 23 juin 1939. Pendant un certain temps, le bâtiment a été utilisé comme entrepôt de grain, puis il a été abandonné.

Comme l'église était située près du cimetière, les habitants n'ont pas oublié d'elle. Au début des années 1950, le temple a été démoli par décision des autorités.