Среднее учебное заведение, основанное в 1870 году на базе женского училища первого разряда, было создано благодаря поддержке пензенского купца первой гильдии и потомственного почетного гражданина И. А. Кононова. В 1862 году он пожертвовал 5 тысяч рублей серебром на создание женской гимназии. Гимназия имела гуманитарный уклон, и основную часть учащихся составляли дети дворян и чиновников. В 1886 году в гимназии обучались 348 учениц. Обучение длилось 7 лет, а 8-й класс был педагогическим. Выпускницы гимназии не имели права поступать в университет, но многие становились народными учителями, среди них В. К. Дормидонтова, О. Г. Зотикова, Е. И. Цибузгина, Н. В. Сердобольская, А. В. Вандышева, Н. П. Дилигенская, М. П. Молебнова и другие. Среди выпускниц выделяются доктор биологических наук и заслуженный деятель науки РСФСР Н. Н. Ладыгина-Котс, а также поэтесса и переводчица В. К. Звягинцева. На содержание гимназии в 1880-х годах выделялось 1200 рублей из государственного казначейства, 200 рублей от городской думы и 5700 рублей от губернского земства. В разные годы в гимназии преподавали пение композиторы М. И. Костромитинов, А. В. Касторский и А. Н. Карасев, естественную историю И. И. Спрыгин, математику Б. И. Цилли, а также другие предметы А. Н. Магницкий, В. И. Плигал и А. Ф. Дюбур. Попечителями гимназии обычно были жены губернаторов: Л. А. Татищева, В. Т. Горяйнова и Е. Н. Адлерберг. С 1870 года председателем попечительского совета был земский деятель А. Н. Бекетов. Период расцвета гимназии пришелся на время руководства М. В. Панчулидзевой, окончившей в 1865 году с золотой медалью Одесский институт благородных девиц. В 1903 году по проекту архитектора И. С. Китнера было построено новое здание гимназии, расположенное ныне на улице Советская, 9. Гимназия функционировала до 1918 года.

Автором проекта здания гимназии был Иероним Севастьянович Китнер, известный петербургский архитектор и академик архитектуры, который пропагандировал так называемый «кирпичный» стиль. Он также был одним из основателей и редактором журнала «Зодчий», который издается до сих пор.