Hasta la revolución, Penza impresionaba con numerosas iglesias, cada barrio tenía su templo parroquial. En la isla de Peski se encontraba la iglesia de Kazán, ubicada casi en la orilla izquierda. Su construcción comenzó a principios del siglo XVIII, cuando en la isla solo había unos pocos patios pequeños. La iglesia de madera, dedicada a la imagen de la Madre de Dios de Kazán, abrió sus puertas a los primeros feligreses en el verano de 1705. Sin embargo, el pequeño templo de una planta no duró mucho. Durante un fuerte incendio que abarcó la isla, el fuego se acercó a la iglesia, y el edificio de madera ardió como un fósforo sueco. La gente tocaba las campanas, los campesinos recogían agua del río Sura y corrían hacia el templo con cubos, pero no lograron salvarlo. En la noche, la pálida luz de la luna iluminaba las ya carbonizadas imágenes, que el fuego había convertido en cenizas. "No pasa nada, construiremos una nueva iglesia", se consolaban los habitantes de Peski. La construcción del nuevo templo tomó casi 20 años, y pronto apareció en la isla un campanario de piedra blanca, que elevaba su cúpula hacia el profundo cielo azul. En 1750, el templo fue ampliado, añadiendo dos nuevos altares, y su capacidad se incrementó a 200 personas. La belleza del templo se evidencia en el hecho de que fue mencionado en las guías de la época como una atracción turística de Penza. Durante el período soviético, la iglesia albergó un almacén de Soyuzkhleb, y luego fue demolida por completo.