Павильон был построен на берегу Итальянского пруда в период с 1756 по 1761 годы. Ранее на этом месте находился старый деревянный грот, но его чертежи или изображения до наших дней не дошли.

Вторым важным этапом в создании нового сооружения стало оформление интерьеров, включая зал и два кабинета. Сегодня грот является единственным в России павильоном, сохранившим свою уникальную «гротическую» отделку с XVIII века, и считается самым экзотическим среди архитектурных объектов Кускова.

Проект грота в Кускове разработал крепостной архитектор Фёдор Семёнович Аргунов. После завершения строительства в 1761 году владелец Кускова, Пётр Борисович Шереметев, пригласил немецкого мастера Иоганна Фохта для оформления интерьеров. В течение 15 лет он занимался отделкой помещений.

Основные работы завершились к 1775 году. Интерьеры грота, зала и двух кабинетов столь же декоративны и выразительны, как и фасады. Невысокая панель центрального зала служит пьедесталом для восьми пар колонн с золочёными базами и капителями, которые ведут взгляд через мощный карниз к своду купола и световому фонарику. В нишах размещены деревянные и глиняные куклы, украшенные морскими и речными раковинами, приобретёнными графом Шереметевым специально для внутренней отделки грота. Ракушечная скульптура, ценимая в России как раритет, представляет собой уникальные произведения западноевропейских мастеров XVIII века.

В 1775 году усадьбу посетила императрица Екатерина II, и торжественный ужин состоялся именно в новом гроте, что подчёркивало его значимость и красоту. Известно, что и другие члены царской семьи неоднократно посещали шереметевский грот. Например, в мае 1886 года сюда приезжал Александр III с семьёй.

Грот, сохранившийся до наших дней, стал финальным аккордом в оформлении ландшафтного парка в этой части сада Кусково. Это строение гармонично вписалось в архитектурный ансамбль и стало частью общей истории усадьбы.