Der Woronescher Palast ist das einzige Gebäude im Palaststil in der Stadt. Er wurde in den Jahren 1777 und 1779 im Barockstil als Residenz des Woronescher Gouverneurs Generalleutnant I. A. Potapov erbaut. Obwohl es Legenden gibt, dass der Palast für die Kaiserin Katharina II. oder den letzten Krim-Khan Schahin-Girej bestimmt war, werden diese Versionen nicht bestätigt.

Trotz seiner relativ kleinen Größe beeindruckt der Palast durch seine architektonische Majestät und die Genauigkeit der Proportionen, was Assoziationen zu den Petersburger Palästen von B. F. Rastrelli weckt. Es wurde angenommen, dass der Palast von Rastrelli selbst erbaut worden sein könnte, jedoch ist es wahrscheinlicher, dass sein Entwurf vom ersten Gouvernementsarchitekten N. N. Jewski, einem Schüler von D. V. Uchtomski, bekannt für seinen Barockstil, stammt. Die erste Etage des Gebäudes ist mit grobem Rustika verkleidet und endet mit einem Gesims, das die Basis für die beiden oberen Etagen bildet, die durch ionische Säulen verbunden sind. Diese Säulen stützen das Gesims und schließen sich in der zentralen Fassade an die Wand an, die mit einem Giebel gekrönt ist. Die hohen Fenster der zweiten Etage stechen hervor, über denen sich plastische Reliefs zum Thema Waffen verschiedener Epochen befinden. Die Seitenwände sind mit dreieckigen Giebeln und plastischen Girlanden geschmückt.

Nach dem Tod des Eigentümers wechselte der Palast mehrmals den Besitzer. Zu Beginn des 20. Jahrhunderts ging er in den Besitz der Stadt über, um ein Museum zu schaffen. In den Jahren 1912 und 1914 fanden Restaurierungsarbeiten unter der Leitung von V. I. Gajna statt. Während des Ersten Weltkriegs wurde das Gebäude vorübergehend von medizinischen und militärischen Einrichtungen genutzt, und nach der Revolution von dem Gubarchivbüro und dem Gesundheitsamt mit Lagerräumen. Erst in der Mitte der 1920er Jahre wurde es dem Heimatmuseum übergeben. Von 1928 bis 1932 wurde der Palast von dem Gebäude der Verwaltung der Südost-Eisenbahn verdeckt, aber im Zuge des Wiederaufbaus nach dem Krieg wurden drei hohe Bögen geschaffen, die den Blick auf den Palast freigeben. Seit 1959 befindet sich hier das Oblast-Kunstmuseum benannt nach I. N. Kramskoi. 1984 wurde an die Rückseite des Gebäudes ein Ausstellungsraum angebaut, der den Blick auf die Rückfassade mit den seitlichen Risaliten versperrte.