Mit Erlass vom 13. Juni 1839 wurde der Bau einer Friedhofskirche zu Ehren der Heiligen Apostel Peter und Paul genehmigt. Der Sumy-Kaufmann Fedor Sapozhkov spendete ursprünglich 500.000 Rubel für den Bau der Kirche. Im Mai 1843 wurde die Zusammensetzung der Aufsichtsräte der im Bau befindlichen Peter-Pauls-Kirche festgelegt, zu denen die Kaufleute Fedor Sapozhkov, Ivan Kurnosov, Andrei Kopylov und Fedor Stozhkov gehörten. Der Bau wurde unter der Leitung von Protopriester Peter Maretsky durchgeführt. Die Kirche wurde im Oktober 1851 von Erzbischof Filaret Gumilevsky von Charkow und Akhtyrka geweiht. An der Kirche befand sich eine Hauskapelle zu Ehren des Heiligen Johannes des Täufers, die im Gebäude des örtlichen Waisenhauses untergebracht war, das von I. G. Kharitonenkо gebaut wurde.

Neben der Kirche befinden sich die Gräber der Familie Kharitonenkо. Wunderschöne Marmorskulpturen, geschaffen vom französischen Bildhauer Aristide Croisy, schmücken diese Gräber. Arbeiten von Croisy sind auch im Pariser Rathaus, in den Gärten des Palais-Royal und im Louvre zu sehen. Sie wurden 1900 von P. I. Kharitonenkо nach Paris gebracht, nach der Weltausstellung. Eine der Skulpturen steht auf dem Grab seiner Tochter Zinaida, die in der Kindheit starb, die andere auf dem Grab seines Vaters Ivan Gerasimovich. Hier ruht auch Pavel Ivanovich Kharitonenkо.

Auf der Seite des Altarbereichs der Kirche befindet sich das Grab eines weiteren bekannten Wohltäters der Stadt, des Kaufmanns Dmitry Ivanovich Sukhanov, der Aufseher und viele Jahre lang ältester Vorsteher der Spaso-Transfiguration-Kathedrale war und viel für deren Verschönerung getan hat. Es wird angenommen, dass das Denkmal auf seinem Grab von dem bekannten Bildhauer P. Antokolsky geschaffen wurde. In der Nähe befinden sich die Gräber der ersten regierenden Bischöfe der 1945 gegründeten Sumy-Diözese, Ilarion Prokhorovna und Eustrat Podolsky.