Здание, где располагалась Пономарёвская гимназия, было возведено в середине XIX века сыном купца Иовом Степановичем Самариным. В конце того же века его приобрел отставной нотариус Виктор Николаевич Умнов, который владел несколькими домами на улице Московской.

15 сентября 1907 года в этом здании начало работу частное училище второго разряда с курсом мужской классической прогимназии. Оно было учреждено статским советником Дмитрием Алексеевичем Захарьиным, который скончался в том же году. На должность руководителя училища был назначен епархиальный наблюдатель церковноприходских школ Пензенской губернии, кандидат богословия, статский советник Сергей Афанасьевич Пономарёв.

В 1909 году училище получило название частной мужской прогимназии С.А. Пономарёва, а в следующем году оно стало гимназией с восьмилетним сроком обучения.

Известность учебным заведениям придают их выпускники. Для 3-й Пензенской мужской гимназии, чаще называемой Пономарёвской, самым знаменитым выпускником стал Анатолий Борисович Мариенгоф. Он был поэтом-имажинистом и основателем имажинизма, который зародился в Пензе, где в 1918 году был издан первый имажинистский сборник «Исход». Мариенгоф также был драматургом и другом Сергея Есенина, о котором оставил воспоминания и которому Есенин посвятил стихи.

Одним из друзей Мариенгофа в гимназии был Иван Старцев, учившийся на класс младше. Он стал известным библиографом и автором сборников по детской, художественной и западной литературе. В их компании был и Григорий Колобов, который позже жил в Москве вместе с Мариенгофом и Есениным. Он работал в Транспортно-материальном отделе ВСНХ и имел салон-вагон, в котором часто путешествовали его друзья, включая Сергея Есенина.

После революции в здании Пономарёвской гимназии размещались горком и губком комсомола, а с 1970-х годов до 1982 года здесь находилось Пензенское музыкальное училище.