En 1899 se construyó el edificio del gimnasio en el centro de la Plaza Novosobornaya, ubicado a lo largo de un callejón a cierta distancia de las calles Lenin y Soviet. La fachada principal del edificio da a la calle Lenin.

El 1 de septiembre de 1882 se inauguró en Borisoglebsk una progimnasia de tres clases, que en 1899 se transformó en un gimnasio completo, y ese mismo año se construyó el actual edificio. El financiamiento fue proporcionado por la ciudad, el zemstvo, el ministerio de educación pública y las tarifas de matrícula. El gimnasio de siete clases tenía una octava clase pedagógica adicional, que otorgaba el título de maestra. La mayoría de las maestras de las escuelas rurales del distrito y de las escuelas urbanas eran graduadas del gimnasio. Se aceptaban niñas de diferentes clases sociales. Según el informe de 1911, para el 1 de enero de 1912, en el gimnasio estudiaban: 16 hijas de nobles hereditarios, 98 de nobles personales y funcionarios, 39 de la clase espiritual, 105 hijas de ciudadanos honorarios y comerciantes, 360 de la clase media y 260 hijas de campesinos. En cuanto al número de estudiantes, el Gimnasio Mariinsky era uno de los más grandes en el distrito educativo.

El gimnasio contaba con una extensa biblioteca con 1303 títulos y una biblioteca estudiantil de 3024 títulos.

Desde su apertura, el gimnasio fue dirigido por Vera Porfirievna Tolpegina, quien enseñaba historia y geografía. En 1912, en honor al 30 aniversario de su trabajo en el gimnasio, la administración de la ciudad solicitó que se le otorgara el título de ciudadana honoraria de Borisoglebsk. Para el 1 de enero de 1912, trabajaban en el gimnasio 40 maestros, entre ellos S.V. Orzhevskaya y L.V. Ilyinskaya (lengua rusa), E.G. Lazorina (aritmética), A.A. Treskina (matemáticas), V.N. Evseeva e I.E. Lyubimov (historia), A.A. Studenetskaya (geografía), E.V. Alferieva (idioma alemán) y V.A. Radetskaya (idioma francés).

Durante la Primera Guerra Mundial, en el apartamento de V.P. Tolpegina en el edificio del gimnasio se estableció un hospital con 5 camas para los heridos.

Los maestros participaron activamente en la vida pública de la ciudad. En marzo de 1917, se llevó a cabo en el gimnasio una asamblea constitutiva de la Sociedad Pedagógica de Borisoglebsk, que unía a los profesores de las instituciones educativas primarias y secundarias de la ciudad y el distrito. Allí también se eligió una comisión para desarrollar un proyecto de universidad popular en Borisoglebsk.

Desde 1899 hasta 1904, en el gimnasio estudió la revolucionaria A.K. Benediktova. En 1935-1941, en la escuela secundaria que se encontraba en este edificio, estudió el Héroe de la Unión Soviética G.A. Pechkovsky.

Desde el 25 de junio de 1941 hasta el 15 de octubre de 1943, aquí funcionó el hospital de evacuación n.º 1392, donde se trataban a los soldados soviéticos heridos que llegaban de las zonas de combate de las costas del Don.

El edificio del gimnasio es de dos pisos, de ladrillo, enlucido, y recuerda a los castillos franceses de los siglos XVI-XVII. El volumen rectangular principal se complica con risalits con áticos y torretas. La decoración de las fachadas incluye elementos del renacimiento. Las paredes del primer piso están rustificadas y rematadas con un cornisa, las ventanas son rectangulares con marcos perfilados. Los portales de los tambures están decorados con volutas y un friso con módulos. El segundo piso está decorado con rustificación en las esquinas y pilastras con canaladuras. Sobre el cornisa de los risalits se eleva un ático con una torreta, adornada con pilastras y un arco. La distribución interna es de pasillo, con un salón de actos en el segundo piso. Se han conservado estufas con azulejos, cornisas de estuco y rosetones, así como barandillas metálicas en las escaleras.