В первой половине XVIII века на Охотном Ряду, рядом с ныне несохранившейся церковью святой Параскевы Пятницы, находилась большая усадьба князя В. М. Долгорукого-Крымского. Здесь был двухэтажный каменный дом с центральным проездом и множество служебных построек. Князь Василий Михайлович начал военную службу в тринадцать лет под командованием фельдмаршала Миниха. Он участвовал в Семилетней войне и Русско-турецкой войне (1768, 1774), достиг чина генерал-аншефа. В 1780 году его назначили московским главнокомандующим, и за короткое время он успел многое сделать для города. В 1782 году князь скончался, а через два года его усадьбу приобрело недавно созданное Московское Дворянское собрание.

Старый дом был перестроен по проекту архитектора М. Ф. Казакова. Новое здание включило всю застройку усадьбы Долгорукого. На месте двора был создан большой парадный зал для балов и приемов, позже известный как Колонный зал. Здание было ориентировано парадным фасадом с шестиколонным ионическим портиком и двумя тосканскими пилястровыми портиками к Большой Дмитровке. Торцевой фасад на Охотный Ряд украшали две пары тосканских колонн, фланкировавших арочный вход. Центром здания стал огромный бальный зал, окруженный гостиными и кабинетами. Колонный зал получил свое название благодаря коринфским колоннам вдоль стен. В разговорной речи так называют и само здание Дворянского собрания.

Изначально на праздники в Благородное собрание допускались только дворяне. Членом московского собрания был и император Александр I. Позже, с новым Уставом 1849 года, доступ по приглашению получили почетные граждане, купцы 1 гильдии и художники.

В пожаре 1812 года здание сильно пострадало, но через два года было полностью восстановлено архитектором А. Н. Бакаревым, учеником Казакова.

В феврале 1827 года членом Благородного собрания стал А. С. Пушкин.

В 1903 году здание перестроили по проекту архитектора А. Ф. Мейснера: добавили третий этаж, изменили фасады, заменив ионические колонны портиков на коринфские. Колонный зал остался практически неизменным, являясь одним из лучших творений Казакова.

После революции здание передали профсоюзам и оно стало называться Домом Союзов. Здесь на съездах и конференциях выступал В. И. Ленин, а в январе 1924 года здесь стоял его гроб. Позже советский народ прощался в Колонном зале с ушедшими лидерами. В бывшем Доме Благородного собрания проходили политические процессы 1930-х годов, шахматные турниры, праздничные концерты и детские новогодние елки.

Сегодня здесь также проводятся различные общественные и культурные мероприятия.