L'église de Noël, également connue sous le nom d'église de la Descente du Saint-Esprit, était située à l'intersection des rues de Noël et de la Trinité, qui s'appellent maintenant Gorky et Kirov. La vue de là s'ouvrait à l'est, en direction de la rivière Penza.

Le temple en pierre, dédié à la Nativité du Christ, a été érigé dans les années 1770. Il comprenait une petite chapelle, située à l'intersection des rues de la Trinité et de Noël, aujourd'hui connues sous le nom de Kirov et Gorky.

Le nom de la rue de Noël provient de l'église. Elle commençait à la rivière Penza et s'étendait jusqu'à la rue Popovka, qui s'appelle maintenant Klyuchevskogo. Cette rue abritait également l'hospice municipal Alexandre.

En 1931, après la fermeture de l'église du Saint-Esprit, la chapelle en bois à l'angle des rues de la Trinité et de Noël a été réaménagée en magasin de pétrole, après avoir été dépouillée de son dôme. Au début des années 1960, elle a été démolie en raison de sa vétusté.