Algunos edificios en Penza fueron construidos sobre antiguos cementerios que se encontraban en el centro de la ciudad. Por ejemplo, en la calle Kírov, el necrópolis estaba ubicado junto al monasterio femenino de la Trinidad.

No se sabe con certeza cuándo comenzaron aquí las sepulturas. Puede que esto ocurriera en el siglo XVIII, cuando el monasterio se expandía, o quizás más tarde. Sin embargo, el cementerio era considerado prestigioso: aquí enterraban no solo a la nobleza local, como comerciantes y nobles, sino también a personas de alto rango de la provincia e incluso del país. En particular, aquí descansaba el ahijado del hijo de Nicolás I, Alexander Arapov. También fueron enterrados el decembrista y teatral Ivan Gorstkin, la hija del gobernador de Penza, Elizabeth Wigel, y el líder de la nobleza, Andrei Selivanov. Todos ellos eran personas conocidas, respetadas y adineradas de su tiempo. El cementerio se mantenía en perfecto estado no solo por su prestigio, sino también gracias al cuidado de las monjas del monasterio de la Trinidad, que recogían basura, barrían los caminos y pintaban las vallas. Los monumentos aquí eran realmente impresionantes, con grandes lápidas de mármol blanco y negro.

La última sepultura en este cementerio ocurrió en 1918. En la época estalinista, el necrópolis fue desmantelado, los ataúdes fueron retirados y el lugar de sepulturas fue nivelado.