Здание дворянского института было возведено в период с 1847 по 1851 годы по проекту, разработанному в Главном управлении путей сообщения и публичных зданий, под руководством главного архитектора Казанского учебного округа П. С. Гесса.

Стены этого здания хранят память о многих выдающихся деятелях истории и культуры. Здесь начал свою педагогическую карьеру И. Н. Ульянов, отец В. И. Ленина, который работал старшим учителем математики и физики с 1855 по 1863 год. Именно в Пензе он встретил свою будущую жену М. А. Бланк. Среди выпускников института были писатель В. А. Слепцов, театральный критик А. Н. Баженов и основоположник отечественной педиатрии Н. Ф. Филатов.

В 1863 году дворянский институт был закрыт, и спустя пять лет в его здании разместилась мужская гимназия, позже получившая название Первая. Среди её выпускников были профессора Казанского университета Г. Ф. Дормидонтов, Л. З. Колмачевский, Н. П. Загоскин, врачи Э. Г. Салищев, К. Р. Евграфов, П. Н. Диатроптов, Н. А. Щепетильников, Н. В. Мораховский, А. Ф. Сойнов, А. С. Русинов, писатели Муса Акджигитов, А. Г. Малышкин, А. Н. Будищев, В. И. Язвицкий, геоботаники И. И. Спрыгин и М. В. Культиасов, а также маршал Советского Союза М. Н. Тухачевский.

В 1918 году гимназия была преобразована в трудовую школу второй ступени имени В. Г. Белинского, где учились писатель Т. З. Семушкин, исследователь стратосферы И. Д. Усыскин и географ Д. А. Алашеев.

В 1911 году, к столетию со дня рождения В. Г. Белинского, в актовом зале гимназии была установлена первая в Пензе мемориальная доска.

Писатель Илья Александрович Салов в своих мемуарах «Умчавшиеся годы» вспоминает, что дворянский институт находился на краю города, напротив Верхнего Гулянья, в красивой местности, примыкая к засеке, порубленному дубовому лесу. Это было большое и красивое многоэтажное здание, в котором жили воспитанники. В сравнении с деревянным одноэтажным домиком гимназии, институт выглядел как дворец: просторные и светлые классы, огромный светлый коридор, рекреационная зала, библиотека и большой физический кабинет. В гимназии вместо этого был лишь большой двор, куда выпускали учеников во время перемен. В то время директором института был некто П., ранее возглавлявший Пензенскую гимназию, тот самый, при котором В. Г. Белинский был исключен за неспособность.