Le palais de la culture nommé d'après Dzerjinski est devenu le centre culturel de la ville seulement dans les années 20 du siècle dernier, bien que ce bâtiment ait initialement été l'église de l'Épiphanie. Le temple a été construit en 1879 à l'emplacement de l'ancienne église de la Résurrection, qui était en déclin. Le financement principal de la construction a été assuré par le chef de la noblesse de Tambov, Sergeï Bashmakov, qui a fait don de 20 000 roubles, ce qui équivaut aujourd'hui à presque 21 millions. L'intérieur du temple comprenait des sculptures et des peintures, ainsi que la célèbre icône du Christ Sauveur, ornée d'or et d'argent de 84e titre. Pour l'icône, un coffre spécial en bois de tilleul a été fabriqué, coûtant 750 roubles. L'église de l'Épiphanie se distinguait des autres temples de la ville par son haut clocher, atteignant 40 mètres et visible même de la rive droite de la rivière Soura. Cependant, en 1891, lors d'un fort ouragan, le clocher s'est effondré sur la place du Marché, manquant de peu de blesser des passants. En même temps, les échafaudages autour de la tour sont devenus un point de vue populaire. En 1891, lorsque le futur empereur Nicolas II passait par la gare de Penza-I, des gens, risquant leur vie, grimpaient au sommet de la tour pour le voir de plus près.