Das Gebäude der Adelsschule wurde in der Zeit von 1847 bis 1851 nach einem Entwurf des Hauptverwaltungsamtes für Verkehr und öffentliche Gebäude unter der Leitung des Hauptarchitekten des Kazaner Bildungsbezirks P. S. Hess errichtet.

Die Wände dieses Gebäudes bewahren die Erinnerung an viele herausragende Persönlichkeiten der Geschichte und Kultur. Hier begann I. N. Uljanow, der Vater von W. I. Lenin, seine pädagogische Karriere als Oberlehrer für Mathematik und Physik von 1855 bis 1863. Genau hier in Penza traf er seine zukünftige Frau M. A. Blank. Zu den Absolventen der Schule gehörten der Schriftsteller W. A. Slepcow, der Theaterkritiker A. N. Baschenow und der Begründer der heimischen Pädiatrie N. F. Filatow.

Im Jahr 1863 wurde die Adelsschule geschlossen, und fünf Jahre später wurde in ihrem Gebäude ein Männergymnasium untergebracht, das später den Namen Erste erhielt. Zu ihren Absolventen zählten die Professoren der Kazaner Universität G. F. Dormidontow, L. Z. Kolmachewski, N. P. Sagoskin, die Ärzte E. G. Salischtschew, K. R. Jewgrafow, P. N. Diatropow, N. A. Schchepetilnikow, N. V. Morachowski, A. F. Sojnow, A. S. Rusinow, die Schriftsteller Musa Akdzhigitow, A. G. Malyschkin, A. N. Budischew, W. I. Jaswitzki, die Geobotaniker I. I. Sprygin und M. V. Kultiassow sowie der Marschall der Sowjetunion M. N. Tuchatschewski.

Im Jahr 1918 wurde das Gymnasium in die zweite Stufe der Arbeitsschule nach W. G. Belinski umgewandelt, an der der Schriftsteller T. Z. Semuschkin, der Stratosphärenforscher I. D. Usyskin und der Geograf D. A. Alaschejew studierten.

Im Jahr 1911, zum hundertsten Geburtstag von W. G. Belinski, wurde im Festsaal des Gymnasiums die erste Gedenktafel in Penza angebracht.

Der Schriftsteller Ilja Alexandrowitsch Salow erinnert sich in seinen Memoiren „Die verflogenen Jahre“, dass die Adelsschule am Rande der Stadt gegenüber dem Oberen Gulyanija in einer schönen Gegend lag, angrenzend an einen Holzschlag, einen abgeholzten Eichenwald. Es war ein großes und schönes mehrstöckiges Gebäude, in dem die Schüler lebten. Im Vergleich zu dem hölzernen einstöckigen Häuschen des Gymnasiums wirkte die Schule wie ein Palast: geräumige und helle Klassenräume, ein riesiger heller Flur, ein Aufenthaltsraum, eine Bibliothek und ein großer Physikraum. Im Gymnasium gab es stattdessen nur einen großen Hof, in den die Schüler während der Pausen entlassen wurden. Zu dieser Zeit war der Direktor der Schule ein gewisser P., der zuvor das Penza-Gymnasium geleitet hatte, derjenige, unter dem W. G. Belinski wegen Unfähigkeit ausgeschlossen wurde.