In der ersten Hälfte des 18. Jahrhunderts befand sich am Ochotnyj-Rjad, neben der heute nicht mehr erhaltenen Kirche der heiligen Paraskeva, das große Anwesen des Fürsten W. M. Dolgorukow-Krimskij. Hier gab es ein zweigeschossiges Steinhaus mit einem zentralen Durchgang und zahlreichen Wirtschaftsgebäuden. Fürst Wassili Michailowitsch begann seine Militärkarriere im Alter von dreizehn Jahren unter dem Kommando von Feldmarschall Minich. Er nahm am Siebenjährigen Krieg und dem Russisch-Türkischen Krieg (1768, 1774) teil und erreichte den Rang eines Generalobersten. 1780 wurde er zum Moskauer Oberbefehlshaber ernannt und konnte in kurzer Zeit viel für die Stadt tun. 1782 starb der Fürst, und zwei Jahre später erwarb die neu gegründete Moskauer Adelige Versammlung sein Anwesen.

Das alte Haus wurde nach einem Entwurf des Architekten M. F. Kazakow umgebaut. Das neue Gebäude umfasste die gesamte Bebauung des Dolgorukow-Anwesens. Anstelle des Hofes wurde ein großer Festsaal für Bälle und Empfänge geschaffen, der später als Kolonnensaal bekannt wurde. Das Gebäude war mit einer prächtigen Fassade mit einem sechssäuligen ionischen Portikus und zwei toskanischen Pilasterportiken zur Bolschaja Dmitrowka ausgerichtet. Die Giebelseite zur Ochotnyj-Rjad wurde von zwei Paaren toskanischer Säulen geschmückt, die den gewölbten Eingang flankierten. Das Zentrum des Gebäudes bildete ein riesiger Ballsaal, umgeben von Salons und Büros. Der Kolonnensaal erhielt seinen Namen aufgrund der korinthischen Säulen entlang der Wände. Im alltäglichen Sprachgebrauch wird auch das gesamte Gebäude der Adligen Versammlung so genannt.

Ursprünglich durften nur Adelige zu Festlichkeiten in die Adelige Versammlung. Mitglied der Moskauer Versammlung war auch Kaiser Alexander I. Später, mit der neuen Satzung von 1849, erhielten auf Einladung auch Ehrenbürger, Kaufleute der 1. Gilde und Künstler Zugang.

Im Brand von 1812 wurde das Gebäude stark beschädigt, aber zwei Jahre später wurde es vollständig von dem Architekten A. N. Bakarew, einem Schüler Kazakows, wiederhergestellt.

Im Februar 1827 wurde A. S. Puschkin Mitglied der Adligen Versammlung.

Im Jahr 1903 wurde das Gebäude nach einem Entwurf des Architekten A. F. Meissner umgebaut: Ein drittes Stockwerk wurde hinzugefügt, die Fassaden wurden verändert, indem die ionischen Säulen der Portiken durch korinthische ersetzt wurden. Der Kolonnensaal blieb nahezu unverändert und ist eines der besten Werke Kazakows.

Nach der Revolution wurde das Gebäude den Gewerkschaften übergeben und erhielt den Namen Haus der Verbände. Hier trat W. I. Lenin auf Kongressen und Konferenzen auf, und im Januar 1924 stand hier sein Sarg. Später verabschiedete sich das sowjetische Volk im Kolonnensaal von verstorbenen Führern. Im ehemaligen Haus der Adligen Versammlung fanden die politischen Prozesse der 1930er Jahre, Schachturniere, festliche Konzerte und Kinder-Weihnachtsfeiern statt.

Heute werden hier ebenfalls verschiedene öffentliche und kulturelle Veranstaltungen durchgeführt.