Одновременно со строительством Знаменского собора по проекту архитектора Г.В. Гаврилова рядом с ним возводился двухэтажный архиерейский дом. В его состав вошел фрагмент старого здания XVII века, принадлежавшего архимандриту мужского Богородицкого Знаменского монастыря. Это подтверждает древняя комната со сводами на первом этаже.

В новом доме, помимо помещений для архиерея, были комнаты для певчих, монашеской братии и прислуги. В середине XIX века весь верхний этаж красивого каменного здания с ампирной колоннадой и портиком на западном фасаде занимали помещения архиепископа, а нижний этаж был отдан наместнику монастыря, монастырскому правлению и канцелярии Преосвященного.

С 1850 по 1853 год между собором и архиерейским домом была построена обширная пристройка. На втором этаже в большом зале разместилась домашняя Крестовая церковь во имя трех святителей: Василия Великого, Григория Богослова и Иоанна Златоуста. На первом этаже пристройки были устроены кельи. В конце XIX века это здание посетил известный церковный деятель Иоанн Кронштадтский.

В 1927 году сюда переехал нынешний областной краеведческий музей после многочисленных переездов. Он был основан как историко-археологический и кустарный музеи в память о визите в Курск императора Николая II в 1902 году. Музей торжественно открылся 18 января 1905 года для горожан и приезжих.

Становлению музея способствовал выдающийся русский археолог и историк права, профессор Варшавского и Московского университетов Д. Я. Самоквасов. Каждое лето он проводил раскопки в Курской губернии и передал часть своей археологической коллекции музею. Император Николай II выделил десять тысяч рублей на оборудование музея. Среди меценатов были граф С. Д. Шереметев, князья П. Н. Волконский, А. В. Барятинский, Н. В. Голицын, профессор Д. Я. Дурново и другие.

После Октябрьской революции фонды музея значительно увеличились за счет экспроприации коллекций из Ивановского дворца князей Барятинских и других помещичьих домов. В музей поступили мебель, живописные картины, фарфор, хрусталь, бронзовые и серебряные изделия, нумизматические коллекции. В 1928 году краеведческий музей имел десять отделов.

Перед приходом немецких войск в Курск наиболее ценные экспонаты были эвакуированы в Сарапул, а археологические коллекции и фарфор были зарыты в подвале музея. В ноябре 1941 года оккупационные власти открыли музей для посетителей.

Во время войны здание частично пострадало от бомбежек, были разрушены фотолаборатория и столярная мастерская, но с 1 марта 1943 года музей возобновил работу.

В восьмидесятых годах 34 зала краеведческого музея ежегодно посещали более ста тысяч человек. В настоящее время в экспозиции музея представлены три отдела: природы, истории дореволюционного периода и истории советского общества.