В середине XVIII века здесь находилось имение известного заводчика Прокопия Демидова, который построил дворец и разбил роскошный террасный сад. Позже, при новом владельце, графе Орлове-Чесменском, появились павильоны. Затем имение и соседние усадьбы Голицыных и Трубецких-Шаховских приобрел император Николай I, объединив их в одно большое имение под названием Нескучный сад, как и имение князя Н.Ю. Трубецкого.

Во второй половине XVIII века при графе Орлове-Чесменском один из служебных корпусов был построен как манеж с конюшней, позже ставший залом приемов при Александринском дворце. В советское время сюда из Ленинграда переехал Минералогический музей, названный в честь академика Александра Евгеньевича Ферсмана. Основанный в 1726 году в Санкт-Петербурге как минералогический кабинет Кунсткамеры, музей с 1725 года находится под управлением Российской академии наук. В его коллекциях более 135 тысяч экспонатов.

Архитектура и интерьер корпусов были обновлены в 1833-1834 годах по проекту архитектора Евграфа Дмитриевича Тюрина в стиле ампир, популярном в Москве того времени. Четыре двухэтажных корпуса расположены торцевыми фасадами к Москве-реке, между ними проходит аллея, ведущая к воротам Нескучного сада. Ограда и ворота были возведены в 1935 году по проекту архитектора В.А. Доманова.

Фасады корпусов оформлены в едином стиле: ризалит с парадным входом и полукруглой аркой, симметрично расположенные окна с клинообразными навершиями, рустованные камни и античный антаблемент с триглифами и фронтоном. Интерьер Минералогического музея также выполнен в строгом стиле: большой зал с арочными окнами, античным потолком и колоннами, где расположены столы и стенды с экспонатами. Свет и ампирная обстановка подчеркивают ценность коллекции.

Другие корпуса также оформлены в ампирном стиле, но с небольшими отличиями. Их боковые фасады менее нарядны, чем торцевые, но общая парадность хорошо видна из глубины сада, особенно благодаря склону к Москве-реке, создающему эффект античного акрополя. Корпуса соединены стенами с арочными проходами и в них размещены различные организации Российской академии наук. Несколько лет назад была проведена реставрация.