Дворец в загородной усадьбе графа Петра Борисовича Шереметева в Кускове был известен среди современников как "Большой дом". Его строительство велось в 1769-1775 годах, однако имя главного архитектора осталось неизвестным. Дворец предназначался для приёма и размещения гостей в летний период.

Здание, выполненное из дерева, имеет два этажа и каменный цоколь, где находились хозяйственные помещения и погреба. Летний дворец графа Шереметева, это редкий пример загородного дома, который полностью сохранил своё архитектурное и пространственное решение, а также оригинальные элементы интерьера: дощатые полы, печи и камины, декоративную живопись, резьбу по дереву и лепнину из папье-маше, зеркала и осветительные приборы. Архитектура дворца в Кускове представляет собой пример раннего русского классицизма, характерного для загородных домов XVIII века.

Фронтон здания украшен величественными колоннами и богатой резьбой. К парадному входу ведёт белокаменная лестница с пологими пандусами для въезда карет, которые обрамляют фигуры сфинксов, фантастических существ с женскими головами и львиными туловищами.

В 1976 и 1983 годах была проведена комплексная реставрация помещений дворца, интерьеры воссоздавались по описаниям конца XVIII века. Сегодня дворец остаётся центральным объектом музея-заповедника и открыт для посетителей.