Указом от 13 июня 1839 года было разрешено строительство кладбищенской церкви в честь Святых Апостолов Петра и Павла. Сумской купец Федор Сапожков первоначально пожертвовал на возведение храма 500 тысяч рублей. В мае 1843 года был определен состав попечителей строящегося Петропавловского храма, в который вошли купцы Федор Сапожков, Иван Курносов, Андрей Копылов и Федор Стожков. Строительство проходило под руководством протоиерея Петра Марецкого. Храм был освящен в октябре 1851 года архиепископом Харьковским и Ахтырским Филаретом Гумилевским. При храме находилась домовая церковь во имя Святого Иоанна Предтечи, расположенная в здании местной богадельни, построенной И. Г. Харитоненко.

Рядом с храмом расположены могилы членов семьи Харитоненко. Прекрасные мраморные скульптуры, выполненные французским скульптором Аристидом Круази, украшают эти захоронения. Работы Круази также можно увидеть в Парижской мэрии, садах Пале-Рояля и Лувра. Они были привезены П. И. Харитоненко в 1900 году из Парижа после Всемирной промышленной выставки. Одна из скульптур установлена на могиле его дочери Зинаиды, умершей в детстве, другая, на могиле его отца, Ивана Герасимовича. Здесь же покоится и сам Павел Иванович Харитоненко.

Со стороны алтарной части храма находится могила другого известного благотворителя города, купца Дмитрия Ивановича Суханова, который был попечителем и многолетним старостой Спасо-Преображенского собора и много сделал для его благоустройства. Считается, что памятник на его могиле создан известным скульптором П. Антокольским. Рядом расположены могилы первых правящих архиереев Сумской епархии, созданной в 1945 году, Илариона Прохоровна и Евстратия Подольского.