Исторический особняк на Большой Ордынке является памятником архитектуры начала XIX века. Первоначально дом был частью городской усадьбы штабс-капитана Евграфа Аммосовича Демидова, внука известного русского заводчика Демидова, и был построен в 1815-1817 годах. Хотя исторические поэтажные планы не сохранились, предполагается, что первоначальная планировка была характерна для ампирных усадеб, с анфиладой парадных комнат вдоль главного фасада и жилыми помещениями вдоль дворового фасада и в антресольном этаже. Согласно изображениям 1834 года, главный фасад дома в ампирном стиле имел семь удлиненных оконных проемов с широкими подоконными досками, карниз с аттиком и четырехколонный портик в центре.

В 1874 году дом перешел во владение поручика Василия Ивановича Правдина, при котором здание получило каменный фундамент и эклектический декор. В 1880-х годах новым владельцем стал купец второй гильдии А.Н. Дружинин, который добавил к дому со стороны двора одноэтажную деревянную пристройку для кухни, соединенную с домом внутренним переходом. В 1882 году архитектор Д. И. Певницкий создал новый фасад здания, сохранив трехчастную композицию с акцентированным рустованным ризалитом и карнизом с декоративными кронштейнами и лепными розетками. Ампирные оконные проемы были расширены и обрамлены декоративными наличниками с прямоугольными сандриками и подоконными филенками.

Выбор места для Культурного центра Андрея Вознесенского не случаен, так как именно в Замоскворечье Андрей Вознесенский провел детство и с теплотой вспоминал это место: «О, эти дворы Замоскворечья послевоенной поры! Если бы меня спросили: „Кто воспитал ваше детство помимо дома?“, я бы ответил: „Двор и Пастернак“».