Die Geschichte des Anwesens in Zaborowka reicht weit zurück. Im Jahr 1708 gingen diese Ländereien an Graf Platon Ivanovich Musin-Pushkin, einen bekannten Staatsmann, Senator und Botschafter in Paris und Kopenhagen sowie Vorsitzenden der Handelskollegien.

Nach ihm wurde das Anwesen von seinem Sohn, Graf Ivan Platonovich, und dann von seinem Bruder Valentin Platonovich Musin-Pushkin, einem Teilnehmer des Russisch-Türkischen Krieges von 1768 und 1774 sowie Oberbefehlshaber in der schwedischen Kampagne von 1788 und 1790, übernommen. Weder der Vater noch der Sohn besuchten jedoch das Anwesen.

Im Jahr 1804 erbte Vasily Valentinovich Musin-Pushkin, der Sohn eines Feldmarschalls, der dem kaiserlichen Hof nahe stand und aktiv an der Freimaurerei beteiligt war, die Ländereien. Ab 1812 kam er häufig nach Zaborowka, lebte in einem kleinen Holzhaus und leitete persönlich die Geschäfte des Anwesens. Er half auch bedürftigen Bauern und spendete für die Kirche im Dorf.

Der Generalmajor und Fürst Ivan Alexeievich Gagarin, Besitzer von Ländereien in der Provinz Nischni Nowgorod und Freund von Musin-Pushkin aus der Freimaurerloge, lernte in Zaborowka die Tochter des Grafen, Praskovya Vasilievna, kennen und heiratete sie. Sie bekamen die Söhne Nikolai und Ivan sowie die Tochter Praskovya.

Vor seinem Tod im Jahr 1836 vermachte Musin-Pushkin sein gesamtes Vermögen, einschließlich des Anwesens, seiner Frau, der Schauspielerin Semenova. Sie verkaufte es 1837 an die Familie Gagarin. Der Bau des neuen Herrenhauses begann noch zu Lebzeiten von Musin-Pushkin, und Fürst Gagarin war aktiv an diesem Prozess beteiligt.

In den 1870er Jahren wurde das Anwesen erweitert und umgebaut. Auf der Seite des Teiches entstand ein drittes Stockwerk mit Balkon-Galerien und Säulen, während das Gebäude von der Straßenseite aus zweigeschossig blieb und an ein luxuriöses Dampfschiff erinnerte. In dieser Form hat es bis heute überdauert.