Рождественская церковь, также известная как церковь Сошествия Святого Духа, располагалась на пересечении улиц Рождественской и Троицкой, которые сейчас называются Горького и Кирова. Вид оттуда открывался на восток, в сторону реки Пензы.

Каменный храм, посвящённый Рождеству Христову, был возведён в 1770-х годах. К нему относилась небольшая часовня, находившаяся на пересечении улиц Троицкой и Рождественской, ныне известных как Кирова и Горького.

Название улицы Рождественская произошло от церкви. Она начиналась у реки Пензы и тянулась до улицы Поповки, которая сейчас называется Ключевского. На этой улице также располагалась городская Александровская богадельня.

В 1931 году, после закрытия церкви Святого Духа, деревянная часовня на углу Троицкой и Рождественской улиц была переоборудована под керосиновую лавку, предварительно лишившись купола. В начале 1960-х годов её снесли из-за ветхости.