Die einzige alte gläubige Kirche in Penza befand sich am Stadtrand, im Bereich der heutigen Straßen Kaukasus und Schewtschenko. Jetzt ist nichts mehr von ihr übrig.

Die alten Gläubigen begannen Ende des 17. Jahrhunderts, in diese Region umzuziehen. Sie suchten Zuflucht im Wilden Feld, um den Verfolgungen der Regierung zu entkommen, die sie faktisch mit Sekten gleichsetzte. An der Grenze des Moskauer Staates war der Druck geringer, und die ersten Siedler bemühten sich, die alten Gläubigen in Ruhe zu lassen, da sie genug eigene Sorgen hatten. Im Laufe der Zeit wuchs die Zahl der alten Gläubigen in Penza, und bis Ende des 19. Jahrhunderts zählte man mehrere Zehntausend. In dieser Zeit erreichte die Gemeinde die Erlaubnis zur Gründung eines offiziellen Gebetsraums. Allerdings wurde ihnen der Bau einer Kirche im Stadtzentrum nicht gestattet, und das Land wurde am Stadtrand zugewiesen. Die Kirche war aus Holz und bescheiden, aber genau hier versammelten sich die penzischen alten Gläubigen zu ihren Kirchenfesten. Sie stand im Bereich der Straßen Kaukasus und Schewtschenko bis in die 1920er Jahre, danach verschwinden die Informationen über sie.

Die letzten Erwähnungen der alten gläubigen Gemeinden stammen aus den 1930er Jahren. Mit dem Aufkommen der antikirchlichen Politik verschwanden sie nicht, sondern gingen nur vorübergehend in den Untergrund.