Par décret du 13 juin 1839, la construction d'une église funéraire en l'honneur des Saints Apôtres Pierre et Paul a été autorisée. Le marchand soumien Fiodor Sapojkov a initialement fait don de 500 000 roubles pour l'édification de l'église. En mai 1843, la composition des bienfaiteurs de l'église de Pierre et Paul en construction a été déterminée, comprenant les marchands Fiodor Sapojkov, Ivan Kournosov, Andreï Kopylov et Fiodor Stojkov. La construction a été dirigée par le protoïérei Pierre Maretzky. L'église a été consacrée en octobre 1851 par l'archevêque de Kharkov et d'Ahtyrka, Philaret Goumilevski. Une église domestique en l'honneur de Saint Jean Baptiste se trouvait à côté de l'église, située dans le bâtiment de l'hospice local, construit par I. G. Kharitonenko.

À côté de l'église se trouvent les tombes des membres de la famille Kharitonenko. De magnifiques sculptures en marbre, réalisées par le sculpteur français Aristide Croisy, ornent ces sépultures. Les œuvres de Croisy peuvent également être vues à l'Hôtel de Ville de Paris, dans les jardins du Palais-Royal et du Louvre. Elles ont été apportées par P. I. Kharitonenko en 1900 de Paris après l'Exposition Universelle. Une des sculptures est installée sur la tombe de sa fille Zinaïda, décédée dans son enfance, l'autre sur la tombe de son père, Ivan Gerasimovitch. Ici repose également Pavel Ivanovitch Kharitonenko.

Du côté de la partie altar de l'église se trouve la tombe d'un autre bienfaiteur célèbre de la ville, le marchand Dmitri Ivanovitch Soukhanov, qui a été bienfaiteur et ancien doyen du couvent Spaso-Preobrazhensky et a beaucoup fait pour son embellissement. On pense que le monument sur sa tombe a été créé par le célèbre sculpteur P. Antokolsky. À proximité se trouvent les tombes des premiers archevêques de l'Éparchie de Soumy, créée en 1945, Ilarion Prokhorna et Evstrati Podolsky.