Долгое время дворец Разумовского на Гороховом поле оставался в запустении после пожара. Сейчас он восстановлен, и в его стенах располагается Министерство Спорта, а также работает Музей Спорта.

История усадьбы Разумовского берет начало в XVII веке, когда на правом берегу Яузы, у впадения ручья Кукуй, обосновался датский купец Давид Бахарт. Он способствовал развитию торговых отношений между Данией и Россией, а также представлял интересы Дании при дворе Петра I. В начале XVIII века эти земли перешли к канцлеру и президенту Коллегии иностранных дел Гавриле Головкину. Он поддерживал Анну Иоанновну, но после прихода к власти Елизаветы Петровны в 1741 году его обвинили в измене и сослали в Якутию, а усадьбу конфисковали. Елизавета Петровна передала владение своему фавориту Алексею Разумовскому, который редко бывал в Москве, предпочитая жить в Петербурге. После его смерти усадьба перешла к его брату Кириллу, генералу-фельдмаршалу и президенту Академии наук.

При сыне Кирилла, графе Алексее Кирилловиче, усадьба превратилась во дворец. В 1795 году он вышел в отставку и переехал в Москву. В 1800 году он продал другие свои владения и обосновался в усадьбе на Яузе. В 1803 году здесь был построен новый роскошный дом, проект которого приписывают Н.А. Львову, Матвею Казакову или Адаму Менеласу. По желанию владельца главный дом был построен из вертикально поставленных дубовых брусьев. На отделку ушло несколько миллионов рублей, и дворец украсили дорогие зеркала, бронза, позолота и гобелены. Даже подоконники были из лазурита. Были заказаны севрские и саксонские сервизы. Усадебный парк площадью более 28 гектаров украшали статуи и беседки. В саду было четыре пруда с рыбой, а в оранжереях росли редкие растения, за которыми ухаживали садовники из Европы. Здесь вывели новый сорт можжевельника, названный в честь графа Rasoumovia. Однако сын Алексея Разумовского вел расточительный образ жизни, и к 1827 году, по словам Адама Мицкевича, от былого великолепия мало что осталось. В 1828 году усадьба перешла к одесскому купцу Юркову, и коллекции были распроданы.

Через пять лет Опекунский совет приобрел дворец Разумовского, разместив там благотворительные и учебные заведения. Здесь находился приют для сирот чиновников, умерших от холеры, будущий Александринский сиротский институт. В 1842 году открылось малолетнее отделение Института обер-офицерских сирот, позже переименованное в Александринское сиротское малолетнее отделение. Затем в усадьбе разместилась фельдшерская школа и богадельня. В 1876-1886 годах здесь работала учительская семинария, а с 1901 года, убежище для заслуженных воспитательниц учреждений Императрицы Марии. В советское время дворец занял физкультурный институт. Пруды засыпали, а на их месте появились стадионы и спортплощадки. В 1979 году усадьба стала олимпийским объектом, началась реставрация, но работы затянулись.

В 1999 году дворец Разумовского сгорел и долго оставался заброшенным. В 2017 году его наконец отреставрировали, и теперь здесь располагается Министерство Спорта, а также открыт Музей Спорта.