El palacio de Vorónezh es el único edificio de tipo palaciego en la ciudad. Fue construido entre 1777 y 1779 en estilo barroco como residencia del gobernador de Vorónezh, el general de teniente I. A. Potapov. Aunque existen leyendas de que el palacio estaba destinado a la emperatriz Catalina II o al último kan de Crimea, Shahin-Giray, estas versiones no están confirmadas.

A pesar de sus relativamente pequeñas dimensiones, el palacio impresiona por su grandeza arquitectónica y precisión en las proporciones, lo que evoca asociaciones con los palacios de San Petersburgo de B. F. Rastrelli. Se creía que el palacio podría haber sido construido por el propio Rastrelli, sin embargo, lo más probable es que su diseño fuera obra del primer arquitecto provincial N. N. Ievski, alumno de D. V. Ukhtomski, conocido por su estilo barroco. La planta baja del edificio está decorada con un gran rústico y se culmina con un cornisa que sirve de base para los dos pisos superiores, unidos por columnas jónicas. Estas columnas sostienen la cornisa y se adosan a la pared en la parte central de la fachada, rematada con un frontón. Se destacan las altas ventanas del segundo piso, sobre las cuales se encuentran relieves en yeso con temas de armas de diferentes épocas. Las paredes laterales están adornadas con frontones triangulares y guirnaldas de yeso.

Tras la muerte del propietario, el palacio cambió de dueños varias veces. A principios del siglo XX, pasó a ser propiedad de la ciudad para la creación de un museo. En 1912 y 1914 se realizaron trabajos de restauración bajo la dirección de V. I. Gain. Sin embargo, durante la Primera Guerra Mundial, el edificio fue utilizado temporalmente por instituciones médico-sanitarias y militares, y después de la revolución, por el archivo provincial y el departamento de salud provincial con almacenes. Solo a mediados de la década de 1920 fue transferido al museo local. Desde 1928 y 1932, el palacio quedó oculto por el edificio de la administración del Ferrocarril del Sudeste, pero durante la restauración de posguerra se hicieron tres arcos altos que abren la vista al palacio. Desde 1959, aquí se encuentra el museo de arte regional I. N. Kramskoy. En 1984, se añadió una sala de exposiciones a la parte trasera del edificio, que bloqueó la vista de la fachada trasera con los rizalits laterales.