Das Gebiet, auf dem sich der Herrenhauskomplex befindet, war einst Teil der Kleinen Festung, einer Befestigungsanlage des mittelalterlichen Nischni Nowgorod. Es wird angenommen, dass die Kette aus Holz-Erde-Befestigungen der Festung ab den 60er Jahren des 14. Jahrhunderts errichtet wurde. An der Stelle des Herrenhauses stand nach einigen Angaben einer der hölzernen Türme, zu dessen Toren zwei steile Abgänge vom Ufer der Wolga führten. Auf der anderen Seite grenzte der Turm an die Jegorjewskaja Straße, die entlang der Befestigungen in einem Winkel zum Herkunftskloster verlief, das sich im Bereich des Denkmals für V.P. Tschkalow befand.

Die hölzernen Befestigungen der Kleinen Festung wurden zu Beginn des 18. Jahrhunderts abgerissen, aber der Erdwall blieb erhalten. Lange Zeit blieb dieser Ort am Stadtrand. Der hohe Wolgaufer, das von Schluchten durchzogen war, war für den Bau ungeeignet. Die Pläne für Nischni Nowgorod aus der Zeit des Klassizismus in der zweiten Hälfte des 18. und zu Beginn des 19. Jahrhunderts betrafen dieses Gebiet nicht. Bis in die 1830er Jahre wurden die Hänge und Abhänge für Gärten, Bäder und Wirtschaftsgebäude der Herrenhäuser in der Zchukowskaja Straße genutzt.

Auf dem Plan von 1792 ist auf dem Grundstück eine kleine hölzerne Bebauung entlang des mittelalterlichen Walls verzeichnet, der größte Teil des Landes blieb unbebaut. Von Osten grenzte ein Hof mit Garten des Kanzleibeamten Iwan Schitinin an das Grundstück. Hinter dem Wall befand sich ein stein-hölzernes Haus mit Garten des Sekundmajors Fjodor Buchwalow.

Laut dem Plan von 1799 befand sich an der Stelle des heutigen Komplexes ein Herrenhaus, dessen Gebäude an der Ecke der Kleinen Petscherskaja Straße und der sich bildenden Zchukowskaja Straße lagen. Der Ausgang des Herrenhauses zum Wolgaufer war leer. Die rote Linie der zukünftigen Oberwolga-Promenade wurde in den 1830er Jahren im Rahmen eines umfassenden Bauprogramms festgelegt.

Der erste Besuch von Kaiser Nikolaus I. in Nischni Nowgorod im Oktober 1834 gab den Startschuss für das Projekt. Das von dem Gouvernementsarchitekten I.E. Jefimow und dem Ingenieur P.D. Gotman entworfene Promenadenprojekt wurde 1835 genehmigt. Die Arbeiten wurden von Ingenieur A.I. Podnozow überwacht. Bis zum Herbst 1839 war die Promenade geebnet und mit Kopfsteinpflaster bedeckt.

Der Steinbau an der Promenade begann in den 1840er Jahren, verlief jedoch langsam aufgrund der Unwirtschaftlichkeit des Baus von Steingebäuden am Stadtrand. Bis zur Mitte des Jahrhunderts wurden die Gebäude des Martynov-Krankenhauses und des Mariinsky Instituts für edle Mädchen sowie mehrere Privathäuser errichtet, darunter das Haus des Nischni Nowgoroder Kaufmanns der dritten Gilde Serapion Veslomzev, das einen Teil des zukünftigen Ensembles des Herrenhauses Rukavishnikov einnahm.

Das Hauptgebäude des Herrenhauses Veslomzev wurde im Stil des späten Klassizismus errichtet. 1868 erwarb der Kaufmann der ersten Gilde Michail Grigorjewitsch Rukavishnikov das Herrenhaus. Laut dem Beschreibungsbuch von 1871 wurde das steinerne zweigeschossige Haus mit Nebengebäude auf 4.000 Rubel geschätzt.

1874 starb M.G. Rukavishnikov, und der Prozess der Erbschaftsübertragung zog sich bis Ende 1875 hin. 1786 wurde Sergej Michailowitsch Rukavishnikov Eigentümer des Herrenhauses, und in den 1890er Jahren waren es Iwan, Sergej, Mitrofan, Nikolai und Jewgenija Iwanowna Rukavishnikowa. Im Juni 1891 wurde S.M. Rukavishnikov erneut alleiniger Eigentümer, der bis zu seinem Tod im Jahr 1914 Eigentümer blieb. Es ist nur bekannt, dass 1906 im Gebäude eine neue Wasserversorgung installiert wurde. Das Erscheinungsbild des Herrenhauses an der Wende vom 19. zum 20. Jahrhundert wurde vom Fotografen M.P. Dmitriew festgehalten, dessen Aufnahmen die Grundlage für Ansichtskarten bildeten.

In der Sowjetzeit wurde der Komplex enteignet. Im Hauptgebäude befand sich von März bis Juni 1918 das Gouvernementsmuseum. 1919 wurden die Söhne des ehemaligen Eigentümers Iwan und Mitrofan Rukavishnikov, die an der Organisation des Museums beteiligt waren, vom Gelände des Herrenhauses vertrieben. In den 1920er Jahren fanden Renovierungsarbeiten in den Innenräumen statt. 1927 wurde eine Rekonstruktion zum zehnten Jahrestag der Oktoberrevolution durchgeführt.

1935 begannen neue Renovierungs- und Restaurierungsarbeiten, die auch nach dem Krieg fortgesetzt wurden. In den 1980er Jahren wurden jährlich die skulpturalen und architektonischen Elemente der Fassaden und Innenräume des Gebäudes restauriert. Die Tore, die auf das Gelände führten, wurden wiederhergestellt. Mit Beschluss des Exekutivkomitees der Oblast Gorki vom 3. November 1983 wurde der Komplex als Denkmal von regionaler Bedeutung unter Denkmalschutz gestellt. An der Wende vom 20. zum 21. Jahrhundert wurde die Finanzierung der Restaurierungsarbeiten eingestellt, und das Denkmal geriet in einen Notzustand. 1997 und 2010 fanden umfassende Restaurierungen statt.