Усадьбой Ретяжи владел Иван Владимирович Лопухин, известный общественный и государственный деятель конца XVIII и начала XIX веков, который был действительным тайным советником, сенатором, философом, публицистом и издателем.

Название села, возможно, связано с рекой Ретеж, притоком Оки, на берегу которой оно расположено. Точное время основания села Ретяжи неизвестно, но уже в период правления Петра I (1682, 1725) оно существовало. В начале XVIII века в селе была деревянная церковь, сгоревшая в 1712 году. В царствование Анны Иоанновны (1730, 1740) село приобрел Владимир Иванович Лопухин. Существует история о покупке: свекром В.И. Лопухина был вице-президент Коммерц-коллегии Илья Иванович Исаев, которого высоко ценил Петр I. На службе он скопил состояние, но разорился и смог дать дочери в приданое лишь нитку изумрудов. Эти изумруды Владимир Иванович продал за шесть тысяч рублей и, добавив еще две тысячи, купил село Ретяжи. Генерал-поручик Лопухин обустроил имение роскошно: в царствование Александра I оно было продано за 960 тысяч рублей. Единственное сохранившееся здание усадьбы, храм Воскресения Словущего, построенный в 1765 году при Владимире Ивановиче Лопухине.

Его сын, известный масон и автор мистико-философских сочинений Иван Владимирович Лопухин, продолжал развивать усадьбу. Он создал в Ретяжах уникальный парковый ансамбль, насыщенный идеологически и эстетически. И.В. Лопухин подробно описал его в двух очерках, опубликованных в журнале «Друг юношества и всяких лет».

На рубеже XVIII и XIX веков в Европе, включая Россию, в садово-парковом искусстве стали популярны «естественность» и «следование природе». В этом новомодном духе И.В. Лопухин устроил парк в своем имении, назвав его «Орлиная пустынь». Подробное описание этого парка сохранилось благодаря очеркам Лопухина в журнале.

Парковые строения были простыми, но располагались в живописной местности: на крутой горе, окруженной с двух сторон прудом. К горе примыкала дубовая роща. Здесь находилась «пустынька», посвященная «несчастиям Андрея, известного своей стойкостью и страданиями в конце прошлого столетия».

У дороги, ведущей через поля в рощу, среди вишневых деревьев стояла хижина. В хижине были крестообразные окна, а стены снаружи расписаны. На передней стене изображен черный крест на горе, из черепа под ним растет роза. На кресте надпись: «Единый к блаженному бессмертию путь». По сторонам, такие же кресты с надписями: «Крест есть огнь, очищающий дух и плоть» и «Носи в сердце крест свой». На противоположной стене изображен розовый крест в круге голубого цвета, увенчанный митрами. В углах изображены оковы, переломленный посох, закрытая книга и горящий трисвечник. Надпись гласит: «Верному до смерти, венец живота». На крыше изображены орлы: один летит в рощу, другой взмывает к небесам.

«Пустынька» была частью заброшенного монастыря, к которому вела аллея из ракит. За хижиной начиналась аллея, ведущая в рощу, на краю которой рос высокий дуб. Под дубом лежал могильный камень с надписью «Священной памяти А. страдальца 1813 года апреля 14 дня, через полвека в самый тот день, в который начались его злоключения». Рядом с дубом стояла скамья, с которой открывался вид на старинную каменную церковь. От дуба через рощу к пруду вела тропинка, на берегу которого стояла беседка.

В «Орлиной пустыне» находился еще один символический памятник, Андреев скит. Это был простой крестьянский домик на горе среди дубов, с голыми стенами, лавками и длинным столом.