Entre 1759 et 1771, une nouvelle église en pierre à deux autels a été construite à Kolpna, remplaçant l'ancienne église en bois. Elle a été située à un nouvel emplacement. Dans une des publications d'avant la révolution, il est mentionné qu'il y avait deux églises à Kolpna. Cela se réfère probablement à une courte période au milieu du XIXe siècle, lorsque, au lieu de l'église délabrée du XVIIIe siècle, un nouveau temple de Pierre et Paul était en construction, qui est resté dans la mémoire de la génération plus âgée. Son apparence a été préservée dans des photographies. Actuellement, à l'emplacement de ce temple se trouve en partie la Maison des communications et un square adjacent. L'ancienne église en brique se trouvait peut-être à proximité, à l'endroit de l'actuelle place asphaltée devant la Maison des communications, où se tenait auparavant une chapelle.

Dans le livre « Kolpna il y a cent ans », Nicolas Tchernov note que le nouveau temple au centre de Kolpna, probablement construit dans les années 1870, était vraiment beau.

Dans les années 1930, le temple de Kolpna a été détruit, et les services religieux n'ont pas eu lieu pendant plusieurs décennies. Au début des années 1990, la communauté orthodoxe a demandé à l'évêque d'Orel et de Liouben, Païsius, de reprendre les services. Les services religieux ont temporairement eu lieu dans le baptistère de l'église préservée.

En 1993, avec la bénédiction de l'évêque d'Orel et de Briansk, Païsius, les fondations d'un nouveau temple en l'honneur des saints apôtres Pierre et Paul ont été posées en dehors du village, en face du cimetière. En 1995, l'évêque Païsius a consacré le lieu du futur temple, une capsule a été placée sous l'autel et la première brique a été posée. La construction a été financée par des dons de bienfaiteurs et des habitants de la région. Pendant plus de dix ans, les murs du temple ont été érigés. Grâce aux fonds du chef de la police de Kolpna, I.V. Novgorodov, quatre croix pour les dômes ont été achetées. Avec l'aide de l'ancien chef de l'administration du district, M.N. Boukhtiarov, une « Cloche » de six cloches a été acquise. Une grande aide a été apportée par V.A. Gromov, chef du district de Kolpna, et les dirigeants de l'usine de sucre : I.V. Potapenko, M.V. Pavlenko, Y.A. Sergueev. Un soutien constant a été fourni par la présidente de la coopérative de consommation du district, I.A. Vasina, et les dirigeants des exploitations : G.D. Polianchikov, V.M. Sergueev, V.M. Chelekhov, V.I. Beliayeva.

Un donateur actif est devenu le président de la société par actions « Nobel Oil », Grigori Gourevitch, dont les fonds ont permis d'effectuer plus de la moitié des travaux de finition intérieure, d'acheter des chandeliers, des objets liturgiques et des candélabres. Son principal cadeau a été un iconostase unique.

La consécration du nouveau temple a eu lieu le 2 novembre 2006, le jour de la mémoire du grand martyr Artemius. Dans le temple, à un endroit spécial, pend une grande icône des saints apôtres Pierre et Paul, offerte par le général-major Nicolas Chebanov.