Орловская классическая гимназия была создана на базе Главного народного училища. Каменное двухэтажное здание, построенное в 1796 году специально для этого училища, оказалось подходящим и для гимназии. Однако после преобразования гимназии в 1833 году в 4-классное учебное заведение по Уставу 1828 года, здание стало тесным для возросшего числа учеников, включая учащихся благородного пансиона, который существовал с 1835 года на улице 2-й Курской и финансировался государством и частично дворянством губернии. В 1850 году в гимназии обучались 153 человека, из которых 124 были детьми дворян. После открытия в 1861 году трёх низших параллельных классов количество учащихся увеличилось до 244 человек, включая 196 дворян и 9 представителей духовного сословия, остальные были из податных сословий.

В 1861 году карачевский дворянин, гвардии ротмистр Н.В. Киреевский, пожертвовал средства на расширение здания. Обучение в гимназии в 60-70-х годах XIX века длилось восемь лет. Последние три года студенты обучались на одном из двух отделений, филологическом или естественно-математическом, но предметы оставались общеобразовательными: Закон Божий, русский, латинский и греческий языки, математика, естествознание и физика, история, география, немецкий и французский языки, рисование, черчение и чистописание.

Согласно уставу гимназий и прогимназий от 19 ноября 1864 года, гимназии разделялись на общие и классические. Орловская гимназия 17 марта 1863 года стала классической, семиклассной с восьмилетним курсом обучения, где седьмой класс делился на два года. Выпускники классических гимназий могли поступать в университеты. В 1867 году в здании гимназии на средства Н.В. Киреевского была построена Александро-Невская церковь.

Сегодня в здании гимназии, расположенном по адресу пер. Воскресенский, д.5, памятнике архитектуры федерального значения, находится исторический факультет Орловского государственного университета.