En las calles Mayakovsky, Parkhomenko y Lagernaya ahora hay edificios residenciales, pero fueron construidos sobre antiguas tierras de cementerio. Desde finales del siglo XVIII, aquí se encontraba el cementerio de Todos los Santos, que posteriormente fue destruido. El necrópolis estaba ubicado fuera de los límites de la ciudad, cerca del asentamiento de Grafovka, y la primera sepultura ocurrió en 1796. Este cementerio se convirtió en uno de los principales de la ciudad, y parte de su territorio se consideraba de élite. Aquí encontraron su descanso el gerente de la sucursal de Gosbank en Penza, Bekman, el arquitecto Rudkevich, los comerciantes Ochkina y muchos otros. En 1817, cerca del cementerio se construyó la iglesia de Todos los Santos, donde se oficiaban los funerales. Los entierros en este cementerio continuaron durante casi 100 años, hasta que a principios del siglo XX la Duma de la ciudad planteó la cuestión de su cierre. A lo largo de un siglo, el necrópolis se expandió considerablemente, y las tumbas se acercaron a la orilla derecha del río Sura, lo que provocaba la erosión de la tierra y la caída de ataúdes al agua. Esta visión impactó a los residentes y visitantes de Penza. En 1903, el cementerio fue cerrado definitivamente. Casi 30 años después, ya bajo el poder soviético, se cerró la iglesia de Todos los Santos y luego el propio cementerio. Todas las tumbas fueron niveladas con el suelo. Existe la opinión de que los agujeros hundidos en este lugar, que fueron antiguas sepulturas, y circulan rumores de que el agua todavía arrastra huesos.