La iglesia de Navidad, también conocida como la iglesia de la Descensión del Espíritu Santo, se ubicaba en la intersección de las calles Navidad y Trinidad, que ahora se llaman Gorky y Kirov. La vista desde allí se abría hacia el este, en dirección al río Penza.

El templo de piedra, dedicado al Nacimiento de Cristo, fue construido en la década de 1770. A él pertenecía una pequeña capilla, situada en la intersección de las calles Trinidad y Navidad, ahora conocidas como Kirov y Gorky.

El nombre de la calle Navidad proviene de la iglesia. Comenzaba en el río Penza y se extendía hasta la calle Popovka, que ahora se llama Kluchevskogo. En esta calle también se encontraba el asilo municipal Alexandrovskaya.

En 1931, tras el cierre de la iglesia del Espíritu Santo, la capilla de madera en la esquina de las calles Trinidad y Navidad fue remodelada para convertirse en una tienda de queroseno, habiendo sido previamente despojada de su cúpula. A principios de la década de 1960, fue demolida debido a su deterioro.