В период с 1759 по 1771 год в Колпне была построена новая двухпрестольная каменная церковь, заменившая старую деревянную. Её разместили на новом месте. В одном из дореволюционных изданий упоминается, что в Колпне было две церкви. Это, вероятно, относится к короткому периоду в середине XIX века, когда вместо обветшавшей церкви XVIII века строили новый Петропавловский храм, который запомнился старшему поколению. Его облик сохранился на фотографиях. Сейчас на месте этого храма частично расположен Дом связи и прилегающий сквер. Старая кирпичная церковь, возможно, находилась рядом, на месте нынешней асфальтированной площадки перед Домом связи, где ранее стояла часовня.

В книге «Колпна сто лет назад» Николай Чернов отмечает, что новый храм в центре Колпны, вероятно, построенный в 1870-х годах, был действительно красив.

В 1930-х годах храм в Колпне был разрушен, и богослужения не проводились несколько десятилетий. В начале 1990-х православная община обратилась к епископу Орловскому и Ливенскому Паисию с просьбой возобновить службы. Временно богослужения проводились в сохранившейся церковной крещальне-сторожке.

В 1993 году по благословению епископа Орловского и Брянского Паисия за пределами посёлка, напротив кладбища, был заложен фундамент нового храма в честь святых апостолов Петра и Павла. В 1995 году владыка Паисий освятил место будущего храма, под престолом заложили капсулу и первый кирпич. Строительство велось на пожертвования благодетелей и жителей района. Более десяти лет возводились стены храма. На средства начальника Колпнянского ГАИ И.В. Новгородова были приобретены четыре креста для куполов. С помощью бывшего главы администрации района М.Н. Бухтиярова закупили «Звонницу» из шести колоколов. Большую помощь оказали В.А. Громов, глава Колпнянского района, и руководители сахарного завода: И.В. Потапенко, М.В. Павленко, Ю.А. Сергеев. Постоянную поддержку оказывала председатель райпотребкооперации И.А. Васина и руководители хозяйств: Г.Д. Полянчиков, В.М. Сергеев, В.М. Шелехов, В.И. Беляева.

Активным жертвователем стал президент ЗАО НК «Нобель Ойл» Григорий Гуревич, на его средства было выполнено более половины внутренних отделочных работ, приобретены паникадила, церковная утварь и подсвечники. Его главным подарком стал уникальный иконостас.

Освящение нового храма прошло 2 ноября 2006 года, в день памяти великомученика Артемия. В храме на особом месте висит большая икона святых апостолов Петра и Павла, подаренная генерал-майором Николаем Шебановым.