Im Jahr 1828 erwarb Graf Michail Woronzeow, Generalgouverneur des Neurussischen Gebiets, fruchtbares Land an der malerischen Küste des Schwarzen Meeres in der Nähe von Jalta. Er plante, hier eine Sommerresidenz zu bauen und sich mit Weinbau zu beschäftigen. Das Projekt des Palastes übertrug Woronzeow dem britischen Architekten Edward Blore. Obwohl der Architekt den Bauort nie besuchte, entwarf er das Projekt unter Berücksichtigung der Besonderheiten des Geländes und der Umgebung von Alupka und Jalta.

Die Hauptarbeitskraft beim Bau des Palastes bestand aus Leibeigenen aus den Gouvernements Wladimir und Moskau. Nur die besten Handwerker wurden für die Arbeiten herangezogen: Steinmetze, Schnitzer und Dekorateure. Woronzeow gelang es sogar, ein separates Pionierbataillon zu gewinnen. Der Großteil der Arbeiten wurde von Hand ausgeführt, und der Bau schritt langsam voran: Das Haus wurde erst nach 20 Jahren, im Jahr 1848, fertiggestellt. Zur gleichen Zeit wurden am Haupteingang Löwenskulpturen aufgestellt, die in der Werkstatt des italienischen Bildhauers Giovanni Bonanni geschaffen wurden. Rund um den Palast wurde ein Park angelegt und ein Brunnen installiert. Eine Besonderheit des Parks war der Schwanensee, dessen Boden mit Halbedelsteinen bedeckt wurde, damit er an klaren Tagen funkelte.

Der Palast bestand aus fünf Gebäuden, die mehr als hundert Schlafzimmer, Wohnzimmer und Säle sowie einen Billardraum umfassten. Dieser Prunk gehörte drei Generationen der Familie Woronzeow. Nach der Oktoberrevolution wurde der Palast nationalisiert, aber das architektonische Ensemble blieb erhalten und wurde in ein Museum umgewandelt.

Der Palast wurde während des Zweiten Weltkriegs stark beschädigt, als die Besatzer alles Wertvolle daraus entfernten. In die Weltgeschichte ging die Woronzeowsche Residenz ein, weil hier im Januar 1945 während der Jalta-Konferenz die englische Delegation unter der Leitung von Churchill untergebracht war.