La joya arquitectónica de la Plaza Bazar fue no solo el Cuerpo de Pescado. La iglesia de San Pedro y San Pablo, que anteriormente se encontraba en el lugar de la actual casa 86 en la calle Moscú, también era un destacado ejemplo de la arquitectura de piedra. Construida en 1797 con fondos del burgomaestre y comerciante de Penza, Mijaíl Ochkin, se convirtió en la iglesia parroquial principal del asentamiento de Novodragun y en uno de los templos más ricos de la ciudad. Los iconostasios dorados y la pintura mural, realizados por encargo, eran verdaderas obras de arte. No es de extrañar que durante su visita a Penza, Alejandro I no solo visitara la catedral de la Transfiguración, sino también este templo. En memoria de este evento significativo, los clérigos instalaron en la iglesia un ícono del Santo Príncipe Alejandro Nevski con una inscripción sobre la visita del emperador. En la iglesia funcionaba el mejor coro de la iglesia en Penza, dirigido por Alexei Vasilyevich Kastorsky, quien fue uno de los fundadores de la sociedad de canto eclesiástico y organizador de cursos de canto coral, donde actuaba un coro de hasta 500 personas. La iglesia de San Pedro y San Pablo era prácticamente el único lugar limpio en la Plaza Bazar, se mantenía tan cuidadosamente como la residencia del gobernador. Sin embargo, la gloriosa historia del templo terminó en 1931, cuando fue cerrado y luego demolido. En la década de 1950, en este lugar se construyó un edificio de apartamentos de cinco pisos, que se encuentra parcialmente sobre el antiguo cementerio. Aquí anteriormente había una capilla, donde en 1914 fue enterrado el rector de la iglesia, el protoiereo Fyodor Bystrov.