Этот особняк в Москве, один из первых, построенных по европейскому образцу, с красивым фасадом вдоль улицы. Он оказался значительно старше, чем предполагалось ранее. Когда 12 лет назад начались реставрационные работы, выяснилось, что это хорошо сохранившийся дворец начала XVIII века. Владение было оформлено в 1694 году и до сих пор сохраняет почти неизменные границы, оставаясь одним из крупнейших в центре города.

Это были «большие палаты» сподвижника Петра I, графа Петра Матвеевича Апраксина. Он был братом царицы Марфы Матвеевны, второй жены царя Федора Алексеевича. Дворец был грандиозным для своего времени и построен накануне основания Петербурга. После переноса столицы такие здания в Москве стали редкостью. Длинный фасад имел арку, ведущую к парадным апартаментам второго этажа.

После смерти графа усадьба перешла к его сыну, графу Алексею Петровичу и его жене, Елене Михайловне, дочери шута Михаила Голицына при императрице Анне Иоановне. Михаил Алексеевич стал шутом за то, что женился на итальянке и принял католицизм. В последний год правления Анна Иоановна выдала его замуж за калмычку Анну Буженинову, что стало основой для романа «Ледяной Дом» Ивана Лажечникова.

Самое раннее изображение дворца содержится в коронационном альбоме императрицы Елизаветы Петровны 1742 года. В 1761 году граф Федор Алексеевич Апраксин продал владение графу Роману Илларионовичу Воронцову. План 1767 года показывает, как выглядело владение, приобретенное отцом Екатерины Романовны Дашковой. В центре находился дом с аркой, ведущей на хозяйственный двор, а по бокам, два флигеля. Воронцов построил здесь деревянную театральную залу, которую сдавал в аренду. В 1769 году её арендовали итальянцы Бельмонти и Чинти для маскарадов и спектаклей. После смерти Чинти дело продолжили князь Урусов и англичанин Майкл Меддокс. В 1776 году они получили право на публичные спектакли и наняли театр в доме Воронцова. Так появился знаменитый Знаменский Оперный дом. В 1780 году театр сгорел во время представления, повредив и главный дом. Это побудило Меддокса начать строительство Большого Петровского Театра на Неглинке.

Восстановление усадьбы длилось с 1782 по 1783 год. Вместо арки сделали парадный вход. В 1792 году разобрали флигели. В отремонтированный особняк въехал Московский Английский Клуб. В 1801 году император Павел I закрыл клуб, и владельцы продали усадьбу Т.А. Арсеньевой. В 1804 году она перешла к П.В. Мусиной-Пушкиной. В пожаре 1812 года усадьба уцелела, но в декабре загорелся главный дом. В 1816 году здание купил полковник Николай Петрович Римский-Корсаков и в 1818 году перестроил его. Дом приобрел нынешний вид с восьмиколонным портиком.

В 1825 году владение приобрел граф Сергей Иванович Гагарин. Его дом был известен в Москве, здесь собирались известные литераторы и общественные деятели. Лев Толстой изобразил этот дом в своих произведениях. После смерти Гагарина дом перешел к его дочери Марии Сергеевне Бутурлиной. В 1902 году участок достался её сыну Сергею Сергеевичу Бутурлину, который сдавал дом гимназии Елизаветы Александровны Кирпичниковой. В ней учились совместно мальчики и девочки, что было необычно для того времени.

После революции здесь была средняя школа, где учились дети высокопоставленных чиновников. С 1962 года здание занимала школа при Государственном музыкально-педагогическом институте им. Гнесиных. С 2000 года дома находились в полуразрушенном состоянии, ожидая ремонта. 2 сентября 2014 года Школа начала занятия в отреставрированном здании.