В 1812 году княгиня Анна Шаховская разделила своё обширное владение на Арбате на две части. Восточную часть она оставила себе, а западную продала. Современный дом №12 расположен на восточной части, оставшейся у Шаховской. Здесь она построила двухэтажный дом.

В 1873 году новый владелец, купец Орлов, расширил дом, добавив двухэтажную пристройку. В 1889 году здание было надстроено двумя этажами и реконструировано. В таком виде оно сохранилось до наших дней. Здесь жил художник Сергей Иванович Вашков, который также занимался архитектурой. По его эскизам был построен дом №14 на Чистопрудном бульваре, известный своими рельефами декоративных зверей в древнем владимирском стиле. Эти эскизы использовал архитектор Василий Иванович Мотылёв при проектировании церкви в неорусском стиле на платформе Клязьма. Западная часть старинного владения позже получила номер 14.

С 1702 года участок 12-14 принадлежал дьяку поместного приказа Федосею Манукову, который в 1728 году передал усадьбу в приданое дочери Авдотье Федосеевне. Она вышла замуж за поручика Преображенского полка Василия Суворова, впоследствии генерал-губернатора, руководившего русской администрацией в Пруссии в 1760-1761 годах при императрице Елизавете Петровне. Многие исследователи Москвы полагают, что именно здесь, в старых палатах Манукова, у Суворовых родился и провёл детство их сын Александр, ставший впоследствии выдающимся полководцем России.

В конце XVIII века старый дом был перестроен по проекту М. Ф. Казакова, получив шестиколонный портик и треугольный фронтон. Дом пострадал в пожаре 1812 года, но был восстановлен и в первой половине XIX века принадлежал князю М. А. Оболенскому.

Долгое время здание стояло заброшенным, его заселили бродяги, и москвичи того времени называли его «домом с привидениями». Во время Великой Отечественной войны в дом попала бомба, и уже около 70 лет участок 14 остаётся без построек. На месте старого главного дома сейчас находится подпорная стенка, облицованная керамическими плитками с рисунками, известная как стена Каролины Маркс. Она названа в честь журналистки, которая придумала и реализовала идею росписи плиток детьми из разных стран и городов.