На улице Преображенской, напротив Преображенского храма, находится старинное здание с уникальной архитектурой, которое украшает Белгород. Это бывшее здание мужской гимназии, построенное в 1879 году специально для учебного заведения, открытого в 1874 году в доме купца Селиванова.

На момент постройки это было самое красивое здание, сочетающее различные архитектурные стили. Гимназия носила имя герцога Эдинбургского. В здании также находилась Евгеньевская церковь, открытая по просьбе жены капитана Мустяц, которая хотела увековечить память своей рано умершей дочери Евгении. Директор гимназии поддержал её инициативу и обратился в городскую управу за разрешением на строительство церкви. В 1885 году к гимназии пристроили каменную церковь во имя святой Евгении, которая была закрыта вскоре после 1917 года.

В начале ХХ века в гимназии обучалось около 400 человек. Среди её выпускников, выдающиеся личности, внесшие значительный вклад в науку, культуру и искусство. Это гордость белгородцев: учёные Михаил и Владимир Костенко, военачальник Валентин Кангелари, авиатор Николай Анощенко, медик Александр Никитин и другие.

В 1917 году в здании прошло собрание большевиков под руководством И.Г. Озембловского, где было решено создать самостоятельную большевистскую организацию. В 1921 году здесь размещались красноармейцы пулемётной команды 76 полка.

Во время Великой Отечественной войны в здании располагался военный госпиталь. С 1954 по 1957 годы оно принадлежало Белгородскому обкому КПСС, а затем было передано Белгородскому педагогическому институту. После открытия нового здания института здесь находился филиал Всесоюзного заочного политехнического института, позже преобразованный в Белгородский технологический институт строительных материалов, а затем, подразделения Всесоюзного заочного финансово-экономического института.

После капитального ремонта здание передали Белгородскому государственному университету, и 11 января 2003 года состоялось торжественное открытие обновлённого здания, где разместился социально-теологический факультет.