В 1828 году граф Михаил Воронцов, генерал-губернатор Новороссийского края, приобрел плодородные земли на живописном берегу Черного моря неподалеку от Ялты. Он планировал построить здесь летнюю резиденцию и заняться виноделием. Проект дворца Воронцов поручил британскому архитектору Эдварду Блору. Хотя архитектор ни разу не посетил место строительства, он создал проект, точно учитывая особенности рельефа и местности вблизи Алупки и Ялты.

Основную рабочую силу при строительстве дворца составляли крепостные из Владимирской и Московской губерний. К работам привлекались только лучшие мастера: каменотёсы, резчики и отделочники. Воронцову удалось даже привлечь отдельный сапёрный батальон. Большая часть работ выполнялась вручную, и строительство продвигалось медленно: дом был завершён только через 20 лет, в 1848 году. Тогда же у центрального входа установили скульптуры львов, созданные в мастерской итальянского скульптора Джовани Боннани. Вокруг дворца разбили парк и установили фонтан. Особенностью парка стало Лебединое озеро, на дно которого высыпали полудрагоценные камни, чтобы в ясную погоду оно сияло.

Дворец состоял из пяти корпусов, включавших более сотни спален, гостиных и залов, а также бильярдную. Это великолепие принадлежало трём поколениям семьи Воронцовых. После Октябрьской революции дворец был национализирован, но архитектурный ансамбль сохранили, превратив его в музей.

Дворец сильно пострадал во время Великой Отечественной войны, когда оккупанты вывозили из него всё ценное. В мировую историю Воронцовская резиденция вошла благодаря тому, что в январе 1945 года во время Ялтинской конференции здесь разместилась английская делегация во главе с Черчиллем.