Этот дом, включенный в альбомы партикулярных строений М. Ф. Казакова, является одним из важнейших зданий Москвы периода раннего классицизма. Построенный около 1780 года Иваном Ивановичем Шуваловым, фаворитом императрицы Елизаветы Петровны, дом стал его московским пристанищем после возвращения из-за границы в конце 1770-х годов. Шувалов, сторонник императора Петра III, как и многие другие опальные вельможи, решил обосноваться в Москве. Проект дома создал неизвестный, но талантливый архитектор, предположительно итальянец, и здание было возведено на купленном Шуваловым участке.

Дом имел два этажа с двусветной ротондой в центре, видимой с улицы, а со стороны двора он выглядел как четырехэтажный из-за антресолей и полуэтажей. На обширной территории находились три каменных флигеля, конюшни, амбар, сараи и большой сад. Фасад дома украшали вертикальные ниши, обрамляющие окна второго этажа. Центр фасада выделялся сандриками над пятью окнами, а парадный вход располагался со двора, где по крутой лестнице можно было попасть в анфиладу, украшенную произведениями искусства. Здесь находились шедевры иностранных мастеров, портреты Петра Великого и Елизаветы Петровны, а также бюст Екатерины работы Шубина.

Однако Шувалов так и не поселился в этом доме, так как Екатерина II вернула ему свое расположение, и он прожил остаток жизни в Петербурге, где скончался в 1797 году. Московский дом он подарил племяннику, князю Федору Николаевичу Голицыну, куратору Московского университета. Эта ветвь Голицыных, известная как «Голицыны с Покровки», владела домом до 1917 года.

В 1812 году дом не пострадал от пожара, и в нем, по преданию, жил один из маршалов Наполеона. На дворе находились два флигеля, которые ранее использовались для хозяйственных нужд, а с 1880-х годов сдавались под контору компании "Зингер". Также на территории стоял амбар, где хранились продукты и старая мебель.

В этом доме родился и вырос князь Владимир Михайлович Голицын, а его внук, князь Сергей Михайлович Голицын, провел здесь несколько первых лет жизни. В 1887 году семья решила перестроить первый этаж под магазины, а второй сдать гимназии Л. Н. Валицкой, так как содержание дома стало слишком дорогим. В 1910-х годах на месте правого флигеля был построен доходный дом по проекту архитектора Ф. Л. Контрима.

В 1917 году Голицыны лишились имущества и переехали в Богородицк, вернувшись в Москву только после 1924 года.