В 1796 году архитектор графа Алексея Григорьевича Орлова создает «английский сад» и возводит на краю высокого холма над рекой небольшой павильон, который позже назвали Летним. Один из его фасадов завершал верхнюю часть парка, а с балкона другого открывался вид на южные просторы Москвы, от Кремля до Воробьевых гор. Перед домиком парк резко спускался вниз, где был выкопан пруд и построены «Ванный» павильон, романтический «Таинственный» грот и другие парковые достопримечательности. Не все из них сохранились. Наиболее известным был «Воздушный театр», созданный в 1830 году и просуществовавший до 1834 года. Это была крытая галерея в форме полукруга, где сцена была устроена так, что декорации заменялись деревьями и кустами.

Летний домик был деревянным и выполнен в классическом стиле, с простым симметричным планом. Каждый из больших фасадов украшали шесть колонн коринфского ордера, а на малых фасадах располагались одноэтажные беседки со ставнями-решетками.

Англичанка Кэтрин Вильмот, посетившая сад в 1807 году, отмечала: «Он изрезан бесчисленными дорожками, холмиками, лужайками и обрывами; разнообразие беседок и купален радует глаз. В парковой архитектуре используется берёзовая кора, что выглядит замечательно, как будто летние домики и беседки созданы самой природой».

С 1831 года Нескучный сад переходит в собственность Николая I, хотя изначально только частично. Усадьбу Нескучное у Шаховских Дворцовое ведомство приобрело в ноябре 1826 года, а владение Голицыных царь смог купить лишь в 1842 году. Н. П. Голицына, известная как «Пиковая Дама», отказалась продавать участок и в завещании указала, что его можно продать только через 5 лет после ее смерти. Лишь тогда все три части были объединены в нынешний Нескучный сад. Во время пребывания царской семьи в Москве ее резиденцией становился соседний Александринский дворец, а Летний домик до 1917 года использовался для чаепитий на свежем воздухе членов императорской семьи.

После революции Домик использовался по-разному, дольше всего в нем находился дом творчества Союза писателей СССР. До преобразования Парка Горького там была библиотека-читальня. Сейчас в этом месте располагается фотоателье.