En 1828, el conde Mijaíl Vorontsov, gobernador general de la región de Nueva Rusia, adquirió tierras fértiles en la pintoresca costa del Mar Negro, cerca de Yalta. Planeaba construir aquí una residencia de verano y dedicarse a la viticultura. El proyecto del palacio Vorontsov fue encargado al arquitecto británico Edward Blore. Aunque el arquitecto nunca visitó el lugar de la construcción, creó un proyecto que tenía en cuenta con precisión las características del relieve y el terreno cerca de Alupka y Yalta.

La principal fuerza laboral en la construcción del palacio estaba compuesta por siervos de las provincias de Vladimir y Moscú. Solo se contrataron a los mejores maestros: canteros, talladores y decoradores. Vorontsov incluso logró atraer a un batallón de zapadores. La mayor parte del trabajo se realizó a mano, y la construcción avanzó lentamente: la casa se completó solo 20 años después, en 1848. Ese mismo año se instalaron esculturas de leones en la entrada central, creadas en el taller del escultor italiano Giovanni Bonanni. Alrededor del palacio se creó un parque y se instaló una fuente. Una característica del parque fue el Lago de los Cisnes, cuyo fondo se llenó de piedras semipreciosas para que brillara en días claros.

El palacio constaba de cinco cuerpos, que incluían más de un centenar de dormitorios, salones y salas, así como una sala de billar. Esta magnificencia perteneció a tres generaciones de la familia Vorontsov. Después de la Revolución de Octubre, el palacio fue nacionalizado, pero se conservó el conjunto arquitectónico, convirtiéndolo en un museo.

El palacio sufrió graves daños durante la Gran Guerra Patria, cuando los ocupantes saquearon todo lo valioso. La residencia Vorontsov entró en la historia mundial porque en enero de 1945, durante la Conferencia de Yalta, aquí se alojó la delegación inglesa encabezada por Churchill.