Здание на Большой Дмитровке сохранило свой дореволюционный облик. Здесь нет кричащих рекламных вывесок и ярких витрин, а парадный двор, как и прежде, защищает ограда, которая запирается на ночь.

26 декабря 1904 года здесь открылся литературно-художественный кружок, на открытие которого приехала актриса Вера Комиссаржевская. До этого кружок, основанный в 1899 году, находился в доме № 10, но в 1904 году переехал в новое помещение, предоставленное купцом Борисом Востряковым. Востряков приобрел бывший дворец молдавского князя Александра Маврокордато, построенный в 1824 году. После князя владельцем особняка стал московский генерал-губернатор Дмитрий Владимирович Голицын, который умер в 1844 году. При нем и его матери, Наталье Петровне, дом перестраивался и надстраивался.

Семья Востряковых продолжила эту традицию, и в 1880-х и 1890-х годах здание снова перестраивалось, в том числе с участием архитектора Федора Осиповича Шехтеля. Востряков известен тем, что предоставил помещение Литературному кружку, содержал картинную галерею и сдавал корпуса под жилье. Николай Телешов отмечал, что на Большой Дмитровке кружок пережил свой расцвет. Там была собрана большая библиотека с автографами известных людей, картины современных русских художников украшали комнаты, а в залах проводились выставки, концерты, спектакли и балы. Кружок принимал общественные организации Москвы, предоставляя им помещение для собраний. Здесь также отмечались юбилеи и устраивались банкеты для знаменитостей, таких как Эмиль Верхарн, который читал свои стихи в мраморном зале в 1913 году.

Кружок был особенно оживлен по субботам, когда одновременно проходили различные мероприятия: собрания просветительных обществ, дебаты реалистов и декадентов, обсуждения проектов законов и вопросы авторского права.

Наиболее известным обществом кружка была «Свободная эстетика» под руководством Валерия Брюсова, где заседали символисты. Ильф и Петров в «Двенадцати стульях» описывали события 1913 года, когда на вечере в «Свободной эстетике» неофутурист Маяковский выступил с провокацией в адрес поэта Бальмонта, что вызвало недовольство публики.

К 1917 году кружок насчитывал 300 участников. В 1918 году здесь выступил В.И. Ленин с речью о годовщине революции, а в 1920 году кружок закрылся. В особняке разместились МК РКП(б), редакции газет и издательство. В 1926-1927 годах здание было надстроено и обновлено.

Сейчас здесь находится Генеральная Прокуратура РФ, и здание признано объектом культурного наследия регионального значения.