El Gimnasio Clásico de Orlov fue creado sobre la base de la Escuela Popular Principal. El edificio de piedra de dos pisos, construido en 1796 específicamente para esta escuela, resultó ser adecuado también para el gimnasio. Sin embargo, tras la transformación del gimnasio en 1833 en una institución educativa de 4 clases según el Estatuto de 1828, el edificio se volvió pequeño para el número creciente de alumnos, incluidos los estudiantes del pensionado noble, que existió desde 1835 en la calle 2ª Kurskaya y fue financiado por el estado y parcialmente por la nobleza de la provincia. En 1850, 153 personas estudiaban en el gimnasio, de las cuales 124 eran hijos de nobles. Después de la apertura en 1861 de tres clases paralelas inferiores, el número de estudiantes aumentó a 244, incluidos 196 nobles y 9 representantes del clero, los demás eran de clases tributarias.

En 1861, el noble de Karachev, el capitán de la guardia N.V. Kireevsky, donó fondos para la expansión del edificio. La educación en el gimnasio en las décadas de 1860 y 1870 duraba ocho años. En los últimos tres años, los estudiantes se formaban en una de las dos secciones, filológica o natural-matemática, pero las materias seguían siendo de educación general: Ley de Dios, ruso, latín y griego, matemáticas, ciencias naturales y física, historia, geografía, alemán y francés, dibujo, geometría y caligrafía.

Según el estatuto de los gimnasios y progimnasios del 19 de noviembre de 1864, los gimnasios se dividían en generales y clásicos. El gimnasio de Orlov se convirtió en clásico el 17 de marzo de 1863, siendo de siete clases con un curso de ocho años, donde el séptimo grado se dividía en dos años. Los graduados de los gimnasios clásicos podían ingresar a las universidades. En 1867, en el edificio del gimnasio, con fondos de N.V. Kireevsky, se construyó la iglesia de Alejandro Nevski.

Hoy en día, en el edificio del gimnasio, ubicado en la dirección per. Voskresensky, d.5, monumento de arquitectura de importancia federal, se encuentra la facultad de historia de la Universidad Estatal de Orlov.