Деревянная церковь, посвященная святым апостолам Петру и Павлу, была основана в 1690 году святителем Питиримом. Изначально она находилась на окраине города, где сейчас расположена областная библиотека имени А.С. Пушкина. Со временем, с ростом района, церковь стала тесной, и в 1770 году было решено перенести ее на новое кладбище, названное Петропавловским в честь храма. В 1820 году вместо старой деревянной церкви на средства купца И.В. Шихаева был построен каменный храм, который в 1938 году разрушили. Последнее здание церкви было возведено в 1946-1947 годах общиной верующих Покровского прихода для проведения отпеваний, и до конца 1980-х годов его несколько раз пытались закрыть и снести.

Сегодня церковь Петра и Павла действует. Она представляет собой четверик с невысоким шатром и луковичной главкой на декоративном барабане. С востока примыкает пятигранная алтарная апсида, а с запада, небольшой притвор и отдельно стоящая каменная двухъярусная звонница с луковичным завершением, построенная в 2005 году.