El edificio donde se encontraba la Gimnasia Ponomariov fue construido a mediados del siglo XIX por el hijo del comerciante, Iov Stepanovich Samarin. A finales de ese mismo siglo, fue adquirido por el notario retirado Viktor Nikolayevich Umnov, quien poseía varias casas en la calle Moscú.

El 15 de septiembre de 1907, en este edificio comenzó a funcionar una escuela privada de segundo grado con un curso de progimnasia clásica masculina. Fue fundada por el consejero estatal Dmitry Alexeyevich Zakharin, quien falleció ese mismo año. El puesto de director de la escuela fue ocupado por el inspector diocesano de las escuelas parroquiales de la provincia de Penza, candidato en teología, consejero estatal Sergey Afanasevich Ponomariov.

En 1909, la escuela recibió el nombre de progimnasia masculina privada S.A. Ponomariov, y al año siguiente se convirtió en una gimnasia con un período de estudio de ocho años.

La fama de las instituciones educativas la otorgan sus graduados. Para la Tercera Gimnasia Masculina de Penza, más conocida como Ponomariov, el graduado más famoso fue Anatoly Borisovich Mariengof. Fue un poeta imagista y fundador del imagismo, que nació en Penza, donde en 1918 se publicó la primera colección imagista "Éxodo". Mariengof también fue dramaturgo y amigo de Sergey Yesenin, sobre quien dejó recuerdos y a quien Yesenin dedicó poemas.

Uno de los amigos de Mariengof en la gimnasia fue Ivan Starcev, quien estudiaba un año menos. Se convirtió en un conocido bibliógrafo y autor de colecciones sobre literatura infantil, artística y occidental. En su compañía estaba Grigory Kolobov, quien más tarde vivió en Moscú junto a Mariengof y Yesenin. Trabajó en el Departamento de Materiales de Transporte de la VSNH y tenía un salón-vagón, en el que a menudo viajaban sus amigos, incluido Sergey Yesenin.

Después de la revolución, en el edificio de la Gimnasia Ponomariov se ubicaron el comité del partido y el comité regional del Komsomol, y desde la década de 1970 hasta 1982, aquí funcionó el Conservatorio Musical de Penza.