Нескучный сад, один из самых живописных парков Москвы, формировался на протяжении нескольких десятилетий и окончательно сложился в 1843 году. В этот год к его территории, приобретенной Дворцовым ведомством у известных дворян, добавилась последняя часть, купленная у князя Д.В. Голицына. Император Николай I подарил обширную усадьбу Нескучное своей жене Александре Федоровне в честь 25-летия их свадьбы.

Территория усадьбы простиралась от Андреевского богадельного дома, бывшей границы Москвы, до Голицынской больницы, расположенной недалеко от Калужских ворот Земляного города. В 30-е годы XIX века начались масштабные работы по созданию нынешней структуры Нескучного сада под руководством известного московского архитектора Евграфа Дмитриевича Тюрина.

Охотничий домик находится в верховьях глубокого оврага под названием «Андреевский». Изначально он представлял собой открытый парковый павильон, предназначенный для созерцания природы и видов на Андреевскую слободу и Андреевский монастырь. Его план напоминал павильон Орла в Гатчинском парке под Петербургом: эллипс под куполом, окруженный галереей и белокаменной смотровой площадкой.

Первая реконструкция охотничьего домика была проведена в 30-е годы XIX века архитекторами Е.Д. Тюриным и И.Л. Мироновским. В конце XIX века его реставрацией занимался Н.А. Шохин, и с тех пор здание сохранило свою первоначальную функцию. В советское время в нем располагалась чайная. К 1970-м годам здание пришло в упадок, и в 1979 году начались реставрационные работы. В 1982 году домик был отреставрирован и передан Международной ассоциации клубов «Что? Где? Когда?» для съемок телепрограммы.

Последняя реставрация, завершившаяся в 2013 году, восстановила фасады и элементы домика в их первоначальном виде 1830-х годов. Были удалены поздние слои штукатурки и краски, восстановлены элементы кладки и декор. В интерьерах заменили поздние панели и окна, отреставрировали белокаменные полы. Смотровая площадка была воссоздана с сохранением части белокаменных блоков. Укрепление склонов оврага также проводилось, но из-за объема работ площадку временно покрыли деревянным настилом.

В XVIII веке охотничий домик был частью загородного ансамбля «Нескучная дача», принадлежавшего Никите Юрьевичу Трубецкому. Комплекс связывают с архитектором Д.В. Ухтомским. Домик, единственное сохранившееся сооружение усадьбы, был популярным местом для прогулок Пушкина и вдохновил Тургенева на написание повести «Первая любовь».

Сегодня эта территория остается активной частью московской жизни.