Vor der Revolution beeindruckte Penza mit einer Vielzahl von Kirchen, jede Siedlung hatte ihre eigene Pfarrkirche. Auf der Insel Peski befand sich die Kazanische Kirche, die fast am linken Ufer lag. Ihr Bau begann zu Beginn des 18. Jahrhunderts, als es auf der Insel nur einige kleine Höhlen gab. Die hölzerne Kirche, die der Ikone der Kazanischen Gottesmutter gewidmet war, öffnete im Sommer 1705 ihre Türen für die ersten Gläubigen. Doch die kleine einstöckige Kirche stand nicht lange. Während eines heftigen Brandes, der die Insel erfasste, kam das Feuer der Kirche gefährlich nahe, und das Holzgebäude entzündete sich wie ein schwedisches Streichholz. Die Menschen läuteten die Glocken, die Bauern schöpften Wasser aus der Sura und eilten mit Eimern zur Kirche, doch sie konnten sie nicht retten. In der Nacht erhellte das blasse Mondlicht bereits die verkohlten Ikonen, die das Feuer zu Asche verwandelt hatte. "Macht nichts, wir bauen eine neue Kirche", trösteten sich die Bewohner von Peski. Der Bau des neuen Gotteshauses dauerte fast 20 Jahre, und bald erschien auf der Insel ein weißer Glockenturm, der seine Kuppel in den tiefblauen Himmel streckte. 1750 wurde die Kirche erweitert, indem zwei neue Kapellen hinzugefügt wurden, und ihre Kapazität auf 200 Personen erhöht wurde. Die Schönheit der Kirche zeigt sich darin, dass sie in den Reiseführern jener Zeit als Sehenswürdigkeit von Penza erwähnt wurde. In der sowjetischen Zeit diente die Kirche als Lager für Soyuzkhleb, und später wurde sie ganz abgerissen.