Por decreto del 13 de junio de 1839 se permitió la construcción de una iglesia en el cementerio en honor a los Santos Apóstoles Pedro y Pablo. El comerciante sumyense Fedor Sapozhkov donó inicialmente 500 mil rublos para la edificación del templo. En mayo de 1843 se determinó la composición de los patronos de la iglesia de Pedro y Pablo en construcción, que incluyó a los comerciantes Fedor Sapozhkov, Ivan Kurnosov, Andrey Kopylov y Fedor Stozhkov. La construcción se llevó a cabo bajo la dirección del protoiereo Pedro Maretsky. La iglesia fue consagrada en octubre de 1851 por el arzobispo de Járkov y Akhtyrka, Filaret Gumilevsky. En la iglesia había una capilla doméstica en honor a San Juan Bautista, ubicada en el edificio del asilo local, construido por I. G. Kharitonенко.

Cerca de la iglesia se encuentran las tumbas de los miembros de la familia Kharitonенко. Hermosas esculturas de mármol, realizadas por el escultor francés Aristide Croisy, adornan estas sepulturas. Las obras de Croisy también se pueden ver en el Ayuntamiento de París, en los jardines del Palais-Royal y en el Louvre. Fueron traídas por P. I. Kharitonенко en 1900 desde París después de la Exposición Mundial. Una de las esculturas está instalada en la tumba de su hija Zinaida, que falleció en la infancia, y la otra, en la tumba de su padre, Ivan Gerasimovich. Aquí también descansa el propio Pavel Ivanovich Kharitonенко.

En el lado del altar de la iglesia se encuentra la tumba de otro conocido benefactor de la ciudad, el comerciante Dmitry Ivanovich Sukhanov, quien fue patrono y durante muchos años anciano de la catedral de Spaso-Preobrazhensky y hizo mucho por su embellecimiento. Se considera que el monumento en su tumba fue creado por el famoso escultor P. Antokolsky. Cerca se encuentran las tumbas de los primeros arzobispos gobernantes de la diócesis de Sumy, creada en 1945, Ilarion Prokhorovna y Evstratiy Podolsky.