Au XIXe siècle, les habitants de Penza passaient souvent du temps à l'air libre dans le parc nommé d'après Belinski. Cependant, un autre lieu de promenade tout aussi populaire était le Jardin Kazyonny, situé près de l'actuel Collège d'Agriculture.

Ce jardin était un véritable arboretum, où poussaient des plantes exotiques. Le long des allées, on avait planté des narcisses, des fuchsias, des lauriers, des crocus, des roses et d'autres fleurs. Pour les espèces rares, il y avait des serres et des vérandas séparées, entretenues toute l'année. Le jardin abritait également des arbres fruitiers, dont le sénateur Soumarokov a laissé une description intéressante. Dans les années 30 du XIXe siècle, il remarquait à Penza : "Ici, d'énormes serres avec des plantes exotiques, des pêches, des abricots, des prunes blanches, des ananas. Les fruits sont si abondants qu'on vend une douzaine de pêches pour 50 kopecks. Les autres pêches restent sur place, se gâtent et pourrissent." Ceux qui réussissaient à acheter ce fruit sucré pouvaient en profiter sur des bancs à l'ombre des sapins touffus. Au centre du jardin se trouvait une magnifique fontaine qui attirait les citadins. Selon les souvenirs des habitants de Penza, la jeunesse, en particulier les couples amoureux, venait souvent ici.

Avec le temps, le Jardin Kazyonny a progressivement diminué. Pendant la période soviétique, une partie de son territoire a été consacrée à la construction, et il ne reste presque plus rien de cet endroit magnifique.