L'église de Pierre et Paul, située auparavant à l'emplacement de l'actuel 86e bâtiment de la rue Moscou, était également un exemple remarquable d'architecture en pierre. Construite en 1797 grâce aux fonds du bourgmestre et marchand de Penza, Mikhaïl Ochkine, elle est devenue la principale église paroissiale du faubourg de Novodragun et l'un des temples les plus riches de la ville. Les icônostases dorés et les fresques murales, réalisées sur commande, étaient de véritables œuvres d'art. Il n'est pas surprenant que lors de sa visite à Penza, Alexandre Ier ait visité non seulement la cathédrale de la Résurrection, mais aussi ce temple. En mémoire de cet événement marquant, les clercs ont installé dans l'église une icône de Saint Alexandre Nevski avec une inscription sur la visite de l'empereur. L'église abritait le meilleur chœur de Penza, dirigé par Alexeï Vassilievitch Kastorski, qui était l'un des fondateurs de la société de chant ecclésiastique et organisateur de cours de chant choral, où le chœur comptait jusqu'à 500 membres. L'église de Pierre et Paul était pratiquement le seul endroit propre sur la place du marché, elle était nettoyée aussi soigneusement que la résidence du gouverneur. Cependant, la glorieuse histoire du temple s'est terminée en 1931, lorsqu'il a été fermé puis démoli. Dans les années 1950, un immeuble résidentiel de cinq étages a été construit à cet endroit, qui repose en partie sur l'ancien cimetière. Une chapelle se trouvait auparavant ici, où en 1914, le prêtre de l'église, le protoïéromoine Fiodor Bystrikov, a été enterré.