Калужская губернская классическая гимназия была открыта 30 августа 1804 года в результате преобразования четырёхклассного Главного народного училища Калуги, основанного в 1786 году. Это произошло на основании указа Правительствующего Сената от 26 января 1803 года «Об устройстве училищ». Гимназия находилась в трёхэтажном здании, построенном Калужским дворянством в 1782 и 1785 годах по проекту архитектора П. Р. Никитина, которое сейчас расположено по адресу улица Ленина, 83.

Первым директором гимназии был Онисим Григорьевич Потресов. В разные годы её возглавляли: в 1832 и 1834 годах, Семён Яковлевич Унковский; в 1834 и 1851 годах, мореплаватель Семён Иванович Яновский; с 1851 по 1882 год, Пётр Сергеевич Бибиков; с 1882 по 1887 год, Николай Николаевич Овсянников; с 1887 по 1892 год, Павел Фёдорович Симсон; с 1897 по 1906 год, Николай Васильевич Панкратов; с 1906 по 1918 год, Сергей Васильевич Щербаков.

Состав учащихся гимназии преимущественно состоял из дворян: в 1810 году из 60 учеников 43 были дворянами, а в 1896 году из 325 учащихся 229 были из дворянских семей.

Во время войны 1812 года гимназию эвакуировали в Рязань до марта 1813 года.

При гимназии с первых лет существовал пансион, который финансировался за счёт пожертвований калужских дворян и купцов. Неприкосновенный капитал пансиона составлял 95 тысяч рублей ассигнациями, а проценты вместе с государственной поддержкой давали 10 тысяч рублей в год. Эти средства шли на содержание сыновей обедневших дворян.

С открытием в Калуге в 1860 году женского училища, которое в 1870 году стало гимназией, некоторые педагоги работали в обоих учреждениях.

В 1865 году гимназию преобразовали в классическую с изучением латинского языка. Здание гимназии неоднократно перестраивалось и расширялось, особенно в 1900 и 1902 годах. Тогда же был построен гимназический храм, освящённый 6 декабря 1903 года в честь святителя Николая. В храме находилась икона Воскресения Христова с частицей Гроба Господня, подаренная гимназии Патриархом Дамианом Иерусалимским по просьбе губернатора Офросимова. С мая 1903 года учреждение стало называться Калужской Николаевской мужской гимназией.

После революционных событий 1917 года пансион был закрыт, а в 1918 году гимназия преобразована в Советскую трудовую школу. Сейчас в этом здании находится один из учебных корпусов Калужского государственного педагогического университета, а в помещении храма расположен актовый зал.