El Palacio de Cultura nombrado en honor a Dzerzhinsky se convirtió en el centro cultural de la ciudad solo en la década de 1920, aunque originalmente este edificio era la Iglesia de la Epifanía. El templo fue construido en 1879 en el lugar de la antigua iglesia de la Resurrección, que había caído en decadencia. El principal financiamiento de la construcción fue proporcionado por el noble de Tambov, Sergey Bashmakov, quien donó 20 mil rublos, lo que hoy equivale a casi 21 millones. El interior del templo incluía estucos y pinturas, así como la famosa icono de Cristo Salvador, adornada con dorado y plata de 84 quilates. Para el icono se fabricó un arca especial de madera de tilo que costó 750 rublos. La Iglesia de la Epifanía se destacaba entre otros templos de la ciudad por su alta torre campanario, que alcanzaba los 40 metros y era visible incluso desde la orilla derecha del río Sura. Sin embargo, en 1891, durante un fuerte huracán, la torre campanario se derrumbó sobre la Plaza de la Feria, casi causando daño a los transeúntes. Al mismo tiempo, los andamios alrededor de la torre se convirtieron en un popular mirador. En 1891, cuando el futuro emperador Nicolás II pasaba por la estación de tren de Penza-I, la gente, arriesgando su vida, subía a la cima de la torre para verlo más de cerca.