Домик был построен в 70-х годах XIX века известным архитектором Н.Л. Бенуа и стал последним сооружением на территории архитектурного ансамбля. Он находится рядом с основным дворцом. В начале XX века здесь проживал последний владелец усадьбы, С.Д. Шереметьев.

Дом состоит из двух этажей. Первый этаж, выполненный из камня, расписан под кирпич и использовался как баня. Второй этаж деревянный и украшен изящной резьбой. Здание имеет двускатную крышу с большими выносами, образующими террасы, защищённые от осадков. Деревянное крыльцо также украшено резьбой. Дом построен в "швейцарском стиле", что и дало ему название.

Известно, что в 1886 году император Александр III посетил Кусково. В книге И.П. Барсукова «Из моих воспоминаний об императоре Александре III» упоминается:

«… От Голландского домика все пошли к Швейцарскому, летнему помещению детей графа. Здесь Государь сел на диван и стал шутить с детьми, рассматривая их учебные книги …»

Сегодня в Швейцарском доме не проводятся экспозиции, здесь расположена дирекция музея Кусково, хотя здание считается памятником архитектуры.