Le palais de Voronej est le seul bâtiment de type palais dans la ville. Il a été construit en 1777-1779 dans le style baroque comme résidence du gouverneur de Voronej, le général-major I. A. Potapov. Bien qu'il existe des légendes selon lesquelles le palais était destiné à l'impératrice Catherine II ou au dernier khan de Crimée, Shahin-Giré, ces versions ne sont pas confirmées.

Malgré des dimensions relativement modestes, le palais impressionne par sa majesté architecturale et la précision de ses proportions, évoquant les palais de Saint-Pétersbourg de B. F. Rastrelli. On pensait que le palais avait pu être construit par Rastrelli lui-même, mais il est plus probable qu'il ait été conçu par le premier architecte provincial N. N. Ievski, élève de D. V. Ukhtomski, connu pour son style baroque. Le premier étage du bâtiment est orné d'un grand rustique et se termine par une corniche, servant de base aux deux étages supérieurs, unis par des colonnes ioniques. Ces colonnes soutiennent la corniche et se rattachent au mur dans la partie centrale de la façade, surmontée d'un fronton. Les hautes fenêtres du deuxième étage se distinguent, surmontées de bas-reliefs en plâtre sur le thème des armes de différentes époques. Les murs latéraux sont décorés de frontons triangulaires et de guirlandes en plâtre.

Après la mort du propriétaire, le palais a changé plusieurs fois de mains. Au début du XXe siècle, il est devenu la propriété de la ville pour créer un musée. En 1912 et 1914, des travaux de restauration ont été réalisés sous la direction de V. I. Gain. Cependant, pendant la Première Guerre mondiale, le bâtiment a été temporairement utilisé par des institutions médicales et militaires, et après la révolution, par le bureau d'archives de la province et le département de la santé publique avec des entrepôts. Ce n'est qu'au milieu des années 1920 qu'il a été transféré au musée local. Depuis 1928-1932, le palais a été masqué par le bâtiment de la direction du chemin de fer du Sud-Est, mais lors de la reconstruction d'après-guerre, trois grandes arches ont été créées, ouvrant la vue sur le palais. Depuis 1959, il abrite le musée d'art régional nommé d'après I. N. Kramskoy. En 1984, une salle d'exposition a été ajoutée à l'arrière du bâtiment, masquant la vue sur la façade arrière avec les rizalits latéraux.