El edificio del instituto de nobleza fue construido entre 1847 y 1851 según un proyecto desarrollado en la Administración Principal de Vías de Comunicación y Edificios Públicos, bajo la dirección del arquitecto principal del Distrito Educativo de Kazán, P. S. Hess.

Las paredes de este edificio guardan la memoria de muchos destacados personajes de la historia y la cultura. Aquí comenzó su carrera pedagógica I. N. Ulyanov, padre de V. I. Lenin, quien trabajó como profesor de matemáticas y física desde 1855 hasta 1863. Fue en Penza donde conoció a su futura esposa M. A. Blank. Entre los graduados del instituto se encontraban el escritor V. A. Sleptsov, el crítico teatral A. N. Bazhenov y el fundador de la pediatría nacional N. F. Filatov.

En 1863, el instituto de nobleza fue cerrado, y cinco años después, en su edificio se estableció una gimnasia masculina, que más tarde recibió el nombre de Primera. Entre sus graduados estaban los profesores de la Universidad de Kazán G. F. Dormidontov, L. Z. Kolmachevsky, N. P. Zagoskin, los médicos E. G. Salishchev, K. R. Yevgrafov, P. N. Diatropov, N. A. Shchepetilnikov, N. V. Morakhovsky, A. F. Soynov, A. S. Rusinov, los escritores Musa Akdzhigitov, A. G. Malyskin, A. N. Budishchev, V. I. Yazvitsky, los geobotánicos I. I. Sprygin y M. V. Kultiassov, así como el mariscal de la Unión Soviética M. N. Tukhachevsky.

En 1918, la gimnasia fue transformada en una escuela laboral de segundo grado nombrada en honor a V. G. Belinsky, donde estudiaron el escritor T. Z. Semushkin, el investigador de la estratósfera I. D. Usyskin y el geógrafo D. A. Alasheev.

En 1911, con motivo del centenario del nacimiento de V. G. Belinsky, se instaló en el salón de actos de la gimnasia la primera placa conmemorativa en Penza.

El escritor Ilya Alexandrovich Salov, en sus memorias "Años que se fueron", recuerda que el instituto de nobleza estaba en el borde de la ciudad, frente a Upper Gulyaniye, en un hermoso lugar, adyacente a un bosque de robles talado. Era un gran y hermoso edificio de varios pisos, donde vivían los alumnos. En comparación con la pequeña casa de madera de la gimnasia, el instituto parecía un palacio: aulas amplias y luminosas, un enorme pasillo iluminado, una sala de recreo, una biblioteca y un gran laboratorio de física. En la gimnasia, en cambio, solo había un gran patio, donde se dejaba salir a los alumnos durante los recreos. En ese momento, el director del instituto era alguien llamado P., quien había dirigido anteriormente la gimnasia de Penza, el mismo bajo cuya dirección V. G. Belinsky fue expulsado por incapacidad.