Мужская гимназия, старейшее светское учебное заведение Тамбовской губернии, берет свое начало с народного училища, основанного в 1786 году по инициативе губернатора Г.Р. Державина. Обучение в этом училище длилось четыре года. В 1804 году оно было преобразовано в Тамбовскую губернскую мужскую гимназию с шестилетним сроком обучения. В 1827 году городская управа выкупила у коллежского асессора Б.Д. Хвощинского усадьбу на углу улиц Дворцовой и Пензенской для размещения классов гимназии. На этой усадьбе находились два дома, построенные в начале XVIII века, фасады которых выходили на Дворцовую улицу. В 1866 году оба здания были объединены новым корпусом, который и сегодня выделяется полукруглыми оконными проемами второго этажа. На средства купца А.М. Носова в новом здании была устроена гимназическая церковь, освященная в 1869 году во имя св. Александра Невского. С постройкой нового корпуса улица Пензенская стала называться Гимназической.

Летом 1918 года гимназия была закрыта, и в ее здании разместился военный госпиталь. В 1924 году здание перешло под управление народного образования, и в последующие годы здесь находились различные учебные заведения. В 1958 году в здании открылся Тамбовский филиал Московского института химического машиностроения, в честь чего на фасаде была установлена памятная доска. В настоящее время здание служит учебным корпусом «С» Тамбовского Государственного Технического Университета.