Воронежский дворец является единственным зданием дворцового типа в городе. Он был построен в 1777, 1779 годах в стиле барокко как резиденция воронежского губернатора генерал-поручика И. А. Потапова. Хотя существуют легенды о том, что дворец предназначался императрице Екатерине II или последнему крымскому хану Шахин-Гирею, эти версии не подтверждаются.

Несмотря на относительно небольшие размеры, дворец впечатляет своей архитектурной величественностью и точностью пропорций, что вызывает ассоциации с петербургскими дворцами Б. Ф. Растрелли. Считалось, что дворец мог быть построен самим Растрелли, однако вероятнее всего его проектировал первый губернский архитектор Н. Н. Иевский, ученик Д. В. Ухтомского, известного своим барочным стилем. Первый этаж здания отделан крупным рустом и завершается карнизом, служащим основанием для двух верхних этажей, объединённых ионическими колоннами. Эти колонны поддерживают карниз и примыкают к стене в центральной части фасада, увенчанной фронтоном. Выделяются высокие окна второго этажа, над которыми расположены лепные барельефы на тему оружия разных эпох. Боковые стены украшены треугольными фронтонами и лепными гирляндами.

После смерти владельца дворец несколько раз менял хозяев. В начале XX века он перешёл в собственность города для создания музея. В 1912, 1914 годах были проведены реставрационные работы под руководством В. И. Гайна. Однако во время Первой мировой войны здание временно использовалось медико-санитарными и военными учреждениями, а после революции, губархивбюро и губздравотделом со складами. Лишь в середине 1920-х годов оно было передано краеведческому музею. С 1928, 1932 годов дворец оказался заслонён зданием управления Юго-Восточной железной дороги, но в ходе послевоенного восстановления были сделаны три высокие арки, открывающие вид на дворец. С 1959 года здесь размещается областной художественный музей им. И. Н. Крамского. В 1984 году к задней части здания был пристроен выставочный зал, закрывший вид на задний фасад с боковыми ризалитами.