Поместье Ивана Толстого за свою историю принимало множество известных личностей. Помимо знаменитого Льва Толстого и его не менее известного дяди Алексея Толстого, в Дубровке бывал и Александр Сергеевич Пушкин. Поэту так понравилось это место, что он решил назвать одного из своих героев Дубровским.

Хотя Иван Львович Толстой не был особо светским человеком, его дом часто посещали люди, увлечённые наукой, искусством и другими интересными занятиями. Однако Дубровка была известна и до него. Усадебный дом, расположенный на берегу Песочни, сменил несколько владельцев: семьи Мансуровых, Ланских, Чаплыгиных, Жихарёвых и Ильиных, прежде чем оказался у Толстых.

До наших дней в усадьбе Дубровка сохранилась великолепная аллея, но главный дом с высокими окнами, колоннами и лестницами продолжает разрушаться.

Усадьба была построена в 1746 году по заказу Ф.И. Мансурова. В её архитектуре соблюдалась строгая симметрия: огромный парк, дом на возвышении и хозяйственные постройки. Из парка можно было выйти прямо на живописное поле.

С приходом большевиков богатые покои Ивана Толстого были разграблены. В усадьбе размещались детский дом, пионерлагерь, санаторий, приют для испанских коммунистов, а хозяйственные здания использовались как коровники и склады. С 1980-х годов бывший господский дом пустовал и разрушался.

В настоящее время некоторые потомки Толстого готовы заняться восстановлением поместья. Усадьба Дубровка в Калужской области входит в состав музейного комплекса «Ясная поляна».