Die Weihnachtskirche, auch bekannt als die Kirche der Herabkunft des Heiligen Geistes, befand sich an der Kreuzung der Straßen Weihnachtsstraße und Dreifaltigkeitsstraße, die heute als Gorki- und Kirovstraße bekannt sind. Von dort aus hatte man einen Blick nach Osten, in Richtung des Flusses Penza.

Die steinerne Kirche, die der Geburt Christi gewidmet war, wurde in den 1770er Jahren erbaut. Zu ihr gehörte eine kleine Kapelle, die an der Kreuzung der Straßen Dreifaltigkeitsstraße und Weihnachtsstraße lag, die heute als Kirov- und Gorkistraße bekannt sind.

Der Name der Weihnachtsstraße stammt von der Kirche. Sie begann am Fluss Penza und zog sich bis zur Popovka-Straße, die heute Kluchevskogo heißt. An dieser Straße befand sich auch das städtische Alexanderspital.

Im Jahr 1931, nach der Schließung der Kirche des Heiligen Geistes, wurde die hölzerne Kapelle an der Ecke der Dreifaltigkeits- und Weihnachtsstraße in einen Petroleumshop umgebaut, nachdem sie zuvor ihre Kuppel verloren hatte. Anfang der 1960er Jahre wurde sie wegen Baufälligkeit abgerissen.