Im Zeitraum von 1759 bis 1771 wurde in Kolpna eine neue zweischiffige Steinkirche erbaut, die die alte Holzkirche ersetzte. Sie wurde an einem neuen Ort errichtet. In einer der vorrevolutionären Ausgaben wird erwähnt, dass es in Kolpna zwei Kirchen gab. Dies bezieht sich wahrscheinlich auf einen kurzen Zeitraum in der Mitte des 19. Jahrhunderts, als anstelle der baufälligen Kirche des 18. Jahrhunderts der neue Petrus- und Paulus-Tempel gebaut wurde, der der älteren Generation in Erinnerung blieb. Sein Erscheinungsbild ist auf Fotografien erhalten geblieben. Heute befindet sich an der Stelle dieser Kirche teilweise das Kommunikationshaus und der angrenzende Platz. Die alte Backsteinkirche befand sich möglicherweise in der Nähe, an der Stelle des heutigen asphaltieren Platzes vor dem Kommunikationshaus, wo früher eine Kapelle stand.

In dem Buch "Kolpna vor hundert Jahren" merkt Nikolai Tschernow an, dass die neue Kirche im Zentrum von Kolpna, wahrscheinlich in den 1870er Jahren erbaut, wirklich schön war.

In den 1930er Jahren wurde die Kirche in Kolpna zerstört, und es fanden mehrere Jahrzehnte lang keine Gottesdienste statt. Anfang der 1990er Jahre wandte sich die orthodoxe Gemeinde an den Bischof von Orjol und Liwen, Paisij, mit der Bitte, die Gottesdienste wieder aufzunehmen. Vorübergehend fanden die Gottesdienste in der erhaltenen Taufkapelle statt.

1993 wurde auf das Geheiß des Bischofs von Orjol und Brjansk, Paisij, außerhalb des Dorfes, gegenüber dem Friedhof, das Fundament der neuen Kirche zu Ehren der heiligen Apostel Petrus und Paulus gelegt. 1995 weihte Bischof Paisij den Platz der zukünftigen Kirche, unter dem Altar wurde eine Kapsel und der erste Ziegel gelegt. Der Bau wurde durch Spenden von Wohltätern und Anwohnern finanziert. Über zehn Jahre wurden die Wände der Kirche errichtet. Mit Mitteln des Leiters der Kolpnaer Verkehrspolizei I.W. Nowgorodow wurden vier Kreuze für die Kuppeln erworben. Mit Hilfe des ehemaligen Leiters der Bezirksverwaltung M.N. Buchtijarow wurde eine "Glockenstube" mit sechs Glocken gekauft. Große Unterstützung erhielten V.A. Gromow, der Leiter des Kolpnaer Bezirks, und die Leiter der Zuckerfabrik: I.W. Potapenko, M.W. Pawlenko, J.A. Sergejew. Ständige Unterstützung erhielt die Vorsitzende der Bezirksverbrauchergenossenschaft I.A. Wasina und die Leiter der Betriebe: G.D. Poljantschikov, W.M. Sergejew, W.M. Schelehow, W.I. Beljajewa.

Ein aktiver Spender wurde der Präsident der ZAO NK "Nobel Oil" Grigori Guriewitsch, mit dessen Mitteln mehr als die Hälfte der Innenausbauarbeiten durchgeführt, Panikadilen, Kirchengeräte und Kerzenhalter erworben wurden. Sein Hauptgeschenk war der einzigartige Ikonostas.

Die Weihe der neuen Kirche fand am 2. November 2006, am Tag des Gedenkens an den heiligen Märtyrer Artemius, statt. In der Kirche hängt an einem besonderen Ort ein großes Bild der heiligen Apostel Petrus und Paulus, geschenkt von Generalmajor Nikolai Schebanow.