Воронежский губернский музей открылся 9 (21) сентября 1894 года, а его первым директором стал Стефан Егорович Зверев. Музей разместили в трех комнатах на втором этаже старого здания Городской Думы, ныне находящегося по адресу Плехановская, 3. Для организации музея была создана комиссия из членов Статистического Комитета, в которую вошли Ф. Д. Чертков (председатель), Е. Л. Марков, В. Н. Колюбакин, В. К. Задлер, К. К. Федяевский, М. С. Карташов, С. Е. Зверев, К. Смирнов и М. П. Паренаго. На момент открытия в музее насчитывалось около 2400 экспонатов, распределенных по различным отделам: естественному, этнографическому, археологическому, нумизматическому, историко-географическому и библиотеке.

После открытия музея коллекции продолжали пополняться, и археологические раскопки стали важной частью его научной работы. Проводились исследования курганов в селе Мазурки Новохоперского уезда, Старого Маяцкого городища у Дивногорского монастыря, «Хозарского» городища у Воронежа и «Частых курганов». В 1911 году благодаря ценным находкам из «Частных курганов» музею удалось получить новое здание, «Воронежский дворец» (ныне проспект Революции, 18).

Однако Первая мировая война, Революции и Гражданская война помешали перепланировке помещений. Сотрудники музея сосредоточились на спасении имущества из разоренных дворянских имений Воронежской губернии. В 1930-е годы работа по пополнению фондов продолжалась.

К 1941 году в коллекциях Краеведческого музея было около ста тысяч предметов. Великая Отечественная война нанесла городу и музеям огромный ущерб. Лишь небольшая часть фондов была эвакуирована в Казахстан и Сибирь, остальные коллекции в основном погибли. В 1943 году музей возобновил работу в здании Антирелигиозного музея, который вместе с Музеем революции был объединен в Краеведческий музей. В 1948 году музею вернули его прежнее здание, где также разместился Музей изобразительных искусств. В 1959 году музею выделили отдельное здание на улице Плехановской, где он находится и сейчас.

Основная экспозиция музея расположена в здании, являющемся объектом культурного наследия регионального значения начала XX века, «Школа слепых». В конце XIX века эта территория входила в усадьбу купца А. Н. Клочкова. Здание было построено в 1902-1904 годах как губернское училище для слепых детей, принадлежавшее Мариинскому попечительству о слепых. Н. А. Клочков подарил усадьбу городу для учреждения училища, на территории которого на пожертвования было построено здание. В нем были спальни, классы, библиотека, медицинский изолятор и помещения для преподавателей. В центральном зале находилась церковь Марии Египетской с иконостасом, выполненным художником Борцовым. Одна из икон была подарена Иоанном Кронштадтским. До 1941 года училище действовало как «школа слепых». После освобождения Воронежа в здании до 1959 года размещался облисполком, затем здание передали краеведческому музею.

В 1970-1980-е годы музей расширял свою структуру: в 1978 году открылся филиал в Доме клоуна-дрессировщика А. Л. Дурова, а в 1983 году в здании «Арсенал» открылась экспозиция «Воронежская область в годы Великой Отечественной войны». В 1987 году к 70-летию Октябрьской революции открылась основная экспозиция по истории Воронежского края, и музею передали здание на проспекте Революции, 22 («Дом губернатора»). Даже в сложные 1990-е годы музей отметил свое 100-летие и продолжал активную деятельность.