В 1770-х годах Амос Прокофьевич Демидов, сын владельца уральских металлургических заводов Прокофия Акинфиевича Демидова, приобрел городскую усадьбу в Толмачевском переулке. По его указанию был возведен жилой дом, который завершал перспективу Лаврушинского переулка. Перед особняком разбили большой парадный двор. Декор дома был строгим и лаконичным, ограничивался рустом цокольного этажа, нарядными оконными наличниками и небольшим центральным аттиком.

В 1805 году, когда усадьбой владели дворяне Загряжские, появился новый парадный фасад с четырехколонным портиком. По бокам от особняка возвели одноэтажные флигели, ограничившие парадный двор. В 1812 году главный дом усадьбы сильно пострадал от пожара. Через два года после изгнания Наполеона из Москвы его перестроили, и он приобрел парадный фасад, сохранившийся до наших дней. Остальные фасады остались без изменений, а цокольный этаж сохранил классицистическую обработку рустом.

В середине XIX века, когда усадьба перешла к купцам Козлиным, флигели были надстроены. Во второй половине XIX века, когда хозяйкой дома стала графиня Мария Федоровна Соллогуб, здесь начал собираться литературный салон. Дом посещали такие известные люди, как И.С. Аксаков, Ю.Ф. Самарин, И.С. Тургенев, А.С. Хомяков и другие.

В 1882 году усадьбу приобрел Московский учебный округ для размещения 6-й мужской гимназии, которая функционировала здесь до революции 1917 года. Для нужд гимназии здание было перепланировано. Среди учеников 6-й гимназии был Ваня Шмелев, будущий известный русский писатель XX века.

В 1942 году бывший дом Демидовых передали Государственной библиотеке по народному образованию имени К.Д. Ушинского. Педагогическая библиотека занимает усадьбу и сегодня. В советское время Академия педагогических наук РСФСР профинансировала реставрацию усадьбы.

В настоящее время дом находится в хорошем состоянии. Чтобы рассмотреть украшения парадного фасада, нужно зайти во двор. Аркатура нижнего рустованного этажа поддерживает выдвинутый вперед шестиколонный портик коринфского ордера. Центральная часть фасада украшена пятью круглыми барельефными медальонами аллегорического содержания. Крайние окна второго этажа декорированы спаренными коринфскими пилястрами, арочными нишами и небольшими фронтонами со скульптурной вставкой. Однако главным украшением усадьбы является превосходная чугунная ограда, шедевр литейного искусства XVIII века. Эта уникальная ограда, всегда вызывавшая восхищение москвичей, была отлита мастером А.Т. Сизовым на одном из уральских заводов Демидовых в 1760-х годах по чертежам архитектора Ф.С. Аргунова.