El establecimiento educativo medio, fundado en 1870 sobre la base de una escuela femenina de primer grado, fue creado gracias al apoyo del comerciante de Penzensk de primera guilda y ciudadano honorario hereditario I. A. Kononov. En 1862, donó 5 mil rublos en plata para la creación de la gimnasia femenina. La gimnasia tenía un enfoque humanitario, y la mayoría de los estudiantes eran hijos de nobles y funcionarios. En 1886, 348 alumnas estaban estudiando en la gimnasia. La educación duraba 7 años, y el octavo grado era pedagógico. Las graduadas de la gimnasia no tenían derecho a ingresar a la universidad, pero muchas se convertían en maestras populares, entre ellas V. K. Dormidontova, O. G. Zotikova, E. I. Tsibuzgina, N. V. Serdobolskaya, A. V. Vandyshova, N. P. Diligenkaya, M. P. Molebnova y otras. Entre las graduadas se destacan la doctora en ciencias biológicas y destacada figura de la ciencia de la RSFSR N. N. Ladygina-Kots, así como la poetisa y traductora V. K. Zvyagintseva. Para el mantenimiento de la gimnasia en la década de 1880 se asignaron 1200 rublos del tesoro estatal, 200 rublos de la Duma municipal y 5700 rublos de la tierra provincial. En diferentes años, en la gimnasia enseñaron canto los compositores M. I. Kostromitinov, A. V. Kastorski y A. N. Karasev, historia natural I. I. Sprygin, matemáticas B. I. Tsilli, así como otras materias A. N. Magnitsky, V. I. Pligal y A. F. Dyubur. Los patronos de la gimnasia solían ser las esposas de los gobernadores: L. A. Tatishcheva, V. T. Goryainova y E. N. Adlerberg. Desde 1870, el presidente del consejo de patronos fue el activista de la tierra A. N. Beketov. El período de esplendor de la gimnasia coincidió con la dirección de M. V. Panchulidzeva, quien se graduó en 1865 con medalla de oro del Instituto de Nobles Doncellas de Odesa. En 1903, según el proyecto del arquitecto I. S. Kitner, se construyó un nuevo edificio de la gimnasia, ubicado actualmente en la calle Sovietskaya, 9. La gimnasia funcionó hasta 1918.

El autor del proyecto del edificio de la gimnasia fue Ieronim Sevastyanovich Kitner, un conocido arquitecto de San Petersburgo y académico de arquitectura, que promovió el llamado estilo "de ladrillo". También fue uno de los fundadores y editor de la revista "Zodchiy", que se publica hasta hoy.