Мужская министерская гимназия, история которой начинается с народного училища, основанного при Г.Р. Державине, обрела новое здание в 1866 году.

Для гимназии была приобретена городская усадьба с каменным домом у Бориса Дмитриевича Хвощинского. Она находилась на углу улиц Дворцовой (ныне Советская) и Пензенской (ныне Гимназическая или Коммунальная). В дореволюционных источниках дом описывается так: «Дом Хвощинского двухэтажный, с таким же флигелем, под которым сделаны выходы; службы, сараи, конюшни каменные, всё крыто железом; баня деревянная, крытая тёсом; усадьба разделена на два двора и огород; с двух сторон площадь, с третьей улица, с четвёртой дом присутственных мест… В 1827 году в доме Хвощинского располагался почтамт, и Цертелёв начал хлопотать о его выселении, что оказалось непросто. Лишь в ноябре 1827 года гимназия смогла занять новое помещение, предварительно отремонтированное: “полы выкрашены, двери отделаны под лак с медными замками и шпингалетами, стены в одной комнате отделаны под мрамор, в других расписаны мастером Павлом Лемберхом, который украсил комнаты живописными цветами и арматурами”, за что получил благодарность».

На планах 1834 и 1836 годов в «квартале, занимаемом гимназией», указаны три здания: «Главный двухэтажный каменный дом с балконом на шести каменных колоннах, с двумя деревянными крыльцами… Двухэтажный каменный флигель с двумя крыльцами, одно из которых парадное с четырьмя каменными колоннами, другое деревянное… По обеим сторонам флигеля два выхода с кирпичными лестницами. Каменные одноэтажные службы, связанные под прямым углом».

Дальнейшая история тамбовской гимназии и её зданий в XIX веке такова:

В 1839 году гимназия вошла в число учреждений, готовивших молодых людей к поступлению в университеты.

«В октябре 1843 года Министерство разрешило открыть пансион и перестроить здание, что сразу же было начато». Архитектор Шустов переделал флигель под пансион.

В 1863 году встал вопрос о строительстве нового здания для гимназии. Ревизии показали: «…оба дома ветхи, сыры, холодны, тесны и неудобны, поэтому их перестройка необходима». С 1864 года началось строительство новых корпусов, завершившееся в августе 1866 года. В 1877 году к главному гимназическому корпусу, сохранившемуся до наших дней, были сделаны пристройки. 23 ноября 1869 года епископ Феодосий (Шаповаленко) освятил там церковь во имя святого Александра Невского, иконостас для которой был изготовлен на средства городского головы Николая Михайловича Носова.

Сегодня в зданиях бывшей мужской гимназии располагается один из факультетов Тамбовского государственного технического университета.