En el siglo XIX, los habitantes de Penza solían pasar tiempo al aire libre en el Parque Belinski. Sin embargo, otro lugar popular para pasear era el Jardín Kaziónny, ubicado cerca del actual Colegio Técnico de Sovkhoz.

Este jardín era un verdadero dendroario, donde crecían plantas exóticas. A lo largo de los senderos se plantaron narcisos, fucsias, lauros, crocus, rosas y otras flores. Para las especies raras había invernaderos y invernaderos separados, que se cuidaban durante todo el año. En el jardín también crecían árboles frutales, sobre los cuales el senador Sumarokov dejó una interesante descripción. En la década de 1830, notó en Penza: "Aquí hay enormes invernaderos con plantas exóticas, duraznos, albaricoques, ciruelas blancas, piñas. Hay tanta abundancia de frutos que venden una docena de duraznos por 50 kopeks. Los demás duraznos quedan en su lugar, se pierden y se pudren". Aquellos que lograban comprar la dulce fruta podían disfrutarla en bancos, protegidos del sol por esponjosos abetos. En el centro del jardín había una magnífica fuente que atraía a los ciudadanos. Según los recuerdos de los penzenses, aquí solía venir la juventud, especialmente las parejas enamoradas.

Con el tiempo, el Jardín Kaziónny fue disminuyendo gradualmente. Durante el período soviético, parte de su territorio fue destinado a la construcción, y de este hermoso lugar casi no quedó nada.