En 1828, le comte Mikhaïl Vorontsov, gouverneur général de la région de Nouvelle-Russie, a acquis des terres fertiles sur la pittoresque côte de la mer Noire, près de Yalta. Il prévoyait de construire ici une résidence d'été et de se lancer dans la viticulture. Le projet du palais Vorontsov a été confié à l'architecte britannique Edward Blore. Bien que l'architecte n'ait jamais visité le site de construction, il a créé un projet en tenant compte des caractéristiques du relief et du terrain près d'Aloupka et de Yalta.

La main-d'œuvre principale pour la construction du palais était composée de serfs des gouvernements de Vladimir et de Moscou. Seuls les meilleurs artisans étaient engagés : tailleurs de pierre, sculpteurs et décorateurs. Vorontsov a même réussi à attirer un bataillon de sapeurs. La plupart des travaux étaient réalisés à la main, et la construction avançait lentement : la maison n'a été achevée qu'après 20 ans, en 1848. C'est également à cette époque que des sculptures de lions, créées dans l'atelier du sculpteur italien Giovanni Bonanni, ont été installées à l'entrée centrale. Un parc a été aménagé autour du palais, et une fontaine a été installée. Une particularité du parc était le lac des cygnes, dont le fond était recouvert de pierres semi-précieuses, afin qu'il brille par temps clair.

Le palais se composait de cinq bâtiments, comprenant plus d'une centaine de chambres, salons et salles, ainsi qu'une salle de billard. Ce chef-d'œuvre a appartenu à trois générations de la famille Vorontsov. Après la Révolution d'Octobre, le palais a été nationalisé, mais l'ensemble architectural a été préservé, le transformant en musée.

Le palais a été gravement endommagé pendant la Grande Guerre patriotique, lorsque les occupants ont emporté tout ce qui avait de la valeur. La résidence Vorontsov est entrée dans l'histoire mondiale grâce au fait qu'en janvier 1945, lors de la conférence de Yalta, la délégation anglaise dirigée par Churchill y a été logée.