В день переворота Екатерина II предстала перед гвардейскими частями в мундире, который был взят взаймы. Она не могла появиться в дамском платье, а времени на пошив собственного мундира не было, поэтому ей пришлось воспользоваться мундиром подпоручика Семеновского полка Александра Талызина. Позже этот мундир, украшенный Андреевской звездой, был возвращен владельцу. Спустя почти четверть века Талызин, выйдя в отставку в звании действительного камергера и тайного советника, поселился в Москве и приобрел у грузинского царевича Георгия Багратиони двор на Воздвиженке (ныне дом № 5/25).

История этого владения прослеживается с 1620-х годов, когда участок был разделен между подворьем Псковского Печерского монастыря и дворянином И. Писемским. В середине века здесь находилась усадьба боярина Ивана Милославского, родственника царя Алексея Михайловича. В 1659 году казна приобрела его двор для размещения Нового аптекарского двора. В 1670-е годы началось активное строительство под руководством Гурия Варфоломеева. Вдоль Шуйского переулка (ныне Староваганьковский) была возведена Трапезная палата Аптекарского двора. В начале XVIII века, после переезда Аптекарского двора в Мещанскую слободу, владение перешло к дипломату В. Долгорукому. Возможно, именно при нем был построен корпус, известный как «Дом садовника». При императрице Анне Иоанновне Долгорукий был арестован, и его двор передан грузинскому царю Вахтангу, который переехал в Россию. В это время появился каменный дом на углу Воздвиженки и Староваганьковского переулка, вероятно, по проекту П. Еропкина. Возможно, эта палата частично сохранилась в современном здании.

А. Талызин приобрел усадьбу у наследников Вахтанга VI. К 1787 году на красной линии Воздвиженки было построено трехэтажное здание с двумя флигелями. Автор проекта неизвестен, но по одной из версий, это был М.Ф. Казаков. Ансамбль усадьбы Талызиных зафиксирован в его «Архитектурных альбомах».

Двор оставался в собственности Талызиных до 1805 года, затем был продан купцам Устиновым. Усадьба была существенно перестроена, появились двухэтажные переходы между главным домом и флигелями, а фасады получили ампирную отделку. При Устиновых особняк стал культурным салоном Москвы, где проводились музыкальные вечера, которые посещали братья Вяземские, Денис Давыдов и Пушкин. Среди представителей этой фамилии был известный британский актер и режиссер сэр Питер Устинов.

В 1845 году владение было продано Министерству финансов, и здесь разместились Московское уездное казначейство и Московская казенная палата. В середине 1890-х годов боковые части главного дома были надстроены третьим этажом, и здание приобрело нынешний вид.

В 1920 году в особняк въехал Секретариат ЦК РКП (б), здесь находились кабинеты Сталина и секретарей ЦК Молотова и Куйбышева. Затем в здании располагались Госплан СССР и Министерство юстиции. В 1930-е годы усадьбу превратили в общежитие, а затем в коммунальное жилье, что серьезно повредило интерьеры.

После Великой Отечественной войны часть здания была передана новому Музею русской архитектуры. Реставрация осложнялась тем, что в доме продолжали жить люди. Последний жилец выехал в январе 1961 года.

Музейный комплекс включает: Главный дом усадьбы с флигелями, Трапезную палату Нового аптекарского двора (служебный флигель), бывший Конюшенный корпус (служебный флигель, флигель «Руина») и «Дом садовника».