Das Haus wurde in den 70er Jahren des 19. Jahrhunderts von dem bekannten Architekten N.L. Benois erbaut und ist das letzte Bauwerk im architektonischen Ensemble. Es befindet sich neben dem Hauptpalast. Zu Beginn des 20. Jahrhunderts lebte hier der letzte Besitzer des Anwesens, S.D. Sheremetyev.

Das Gebäude besteht aus zwei Etagen. Die erste Etage, aus Stein gebaut, ist wie Ziegel bemalt und wurde als Bad genutzt. Die zweite Etage ist aus Holz und mit feinen Schnitzereien verziert. Das Gebäude hat ein Satteldach mit großen Überständen, die Terrassen bilden, die vor Niederschlägen geschützt sind. Die Holzveranda ist ebenfalls mit Schnitzereien geschmückt. Das Haus ist im „schweizerischen Stil“ erbaut, was ihm seinen Namen gab.

Es ist bekannt, dass Kaiser Alexander III. 1886 Kuskowo besuchte. In dem Buch von I.P. Barsukov „Aus meinen Erinnerungen an Kaiser Alexander III“ wird erwähnt:

„… Vom Holländischen Häuschen gingen alle zum Schweizer, dem Sommerhaus der Kinder des Grafen. Hier setzte sich der Kaiser auf das Sofa und begann mit den Kindern zu scherzen, während er ihre Lehrbücher betrachtete …“

Heute finden im Schweizer Haus keine Ausstellungen statt, hier befindet sich die Direktion des Museums Kuskowo, obwohl das Gebäude als Baudenkmal gilt.