Im Jahr 1898 erwarb der bekannte Sammler Ivan Jewmenjewitsch Zwetkow von den Kaufleuten Kwasnikow ein unbebautes Grundstück. Er plante, an diesem Ort eine Galerie für seine umfangreiche Sammlung russischer Künstler zu errichten, die er seit 1881 zusammengetragen hatte.

Der architektonische Entwurf des Gebäudes, im neorussischen Stil ausgeführt, sollte die "russische" Idee von Zwetkows Sammlung widerspiegeln. Das Projekt wurde von dem bekannten Künstler W.M. Wassiljew entwickelt, und der Bau wurde in den Jahren 1899-1901 von dem Architekten W.N. Baschkirow und dem Ingenieur-Architekten B.N. Schnaubert realisiert. In der Beschreibung war ein zweigeschossiges Haus mit Keller, teilweise Wohn- und teilweise Gewerbefläche, mit einem steinernen Eingang und einem einstöckigen Gebäude im Innenhof vermerkt. Im Haus gab es Wasserleitungen, Abwasser und eine zentrale Holzheizung.

Die Silhouette des Gebäudes wurde durch das hohe Dach mit einem metallenen First bestimmt. Bei der Dekoration der Fassaden wurden Elemente des Musters des 17. Jahrhunderts verwendet. Der Haupteingang zeichnete sich durch einen Balkon und einen Kokoschnik aus, der in das Dach eingelassen war. Die geschnitzte Tür war mit Leuchten geschmückt, und das Geländer des Balkons mit Zierleisten. Das zentrale Fenster im Erdgeschoss hatte Säulen und ein zerbrochenes Giebeldach, während die Fenster im zweiten Stock mit Fensterrahmungen und Kokoschnik ausgestattet waren. Das Gebäude wurde von einem Fries mit Kacheln und einem Zierband geschmückt. Die Ecken waren mit Lappen und Kacheln dekoriert. Vom Innenhof aus war das Gebäude mit einem Vorbau mit Säulen und Bögen verbunden. Die Dekoration der Innenhof- und Seitenfassaden war identisch mit der Hauptfassade. Die Kacheln wurden wahrscheinlich von der Fabrik der Gesellschaft M.S. Kuznetsov hergestellt, obwohl es dafür keine dokumentarischen Beweise gibt.

Im Jahr 1909 übergab Zwetkow seine Sammlung an Moskau unter der Bedingung, lebenslang im Herrenhaus wohnen zu dürfen. Er starb im Februar 1917, kurz vor der Abdankung von Nikolaus II. Die Galerie wurde nationalisiert und funktionierte bis 1925 als selbstständiges Museum, danach wurde sie Teil der Tretjakow-Galerie. Im Jahr 1942 wurde das Gebäude der französischen Militärmission in der UdSSR übergeben, und heute befindet sich dort der Militärattaché Frankreichs.

Die Restaurierung des Herrenhauses zielte darauf ab, die verlorenen Elemente der Fassaden wiederherzustellen. Das Projekt berücksichtigte die Erfahrungen der Restaurierung des Igumnow-Hauses. Das Dach wurde durch Zink-Titan-Dachziegel ersetzt, auch andere Elemente wurden aus diesem Material gefertigt. Verlorene Details wurden anhand von Archivfotos rekonstruiert. Elemente der architektonischen Gestaltung wurden weiß gestrichen, und der Kachelfries wurde wiederhergestellt. Die Metallgitter an den Fenstern und die Steinterrassen der Eingänge wurden ebenfalls rekonstruiert.

Im Jahr 2016 erhielt das Gebäude den Preis "Moskauer Restaurierung" für das beste Restaurierungsprojekt und die Organisation der Arbeiten.