После князей Барятинских вотчиной долгое время владели князья Голицыны, пока в середине XIX века имение не перешло к Дмитрию Сергеевичу Горчакову. Он был павлоградским гусаром, флигель-адъютантом Александра II и участником Крымской войны и обороны Севастополя.

Поселившись в имении, где уже были конный завод, службы, кузница и скотный двор, Дмитрий Горчаков преобразил его в райское место. В 1870-х годах он перестроил усадебный ансамбль в великолепном русском стиле. Парадная зона усадьбы включала каменный господский дом с регулярным парком, а к Успенской церкви вела дубовая аллея.

Горчаков превратил Барятино в культурный центр, собрав богатую коллекцию картин, гравюр и других предметов искусства. Он также расширил библиотеку до шести тысяч томов, включая редкие рукописи и книги XVI и XIX веков.

В 1919 году значительная часть собрания была вывезена новыми властями в хранилища Государственного музейного фонда, откуда художественные ценности разошлись по различным коллекциям. На сегодняшний день удалось выявить более 3700 предметов из барятинского собрания Горчаковых. В коллекцию входили работы таких мастеров, как Рубенс, Антуан Ватто, Бушардон, Юбер Робер, Прюдон и Теодор Жерико. Было вывезено 29 живописных полотен, акварельных и пастельных портретов, 8 миниатюр, 9 гравюр, а также бронзовые изделия и предметы из дерева, стекла и фарфора, всего 152 предмета, не считая старинных книг и альбомов. Значительное количество предметов искусства из усадьбы Барятино было вывезено в Калугу и Тарусу. В 1925 году состоялась продажа остатков имущества Горчаковых, в том числе предметов домашнего обихода, мебели, кареты XVIII века и шести картин. Вместе с собранием Н. И. Васильева часть коллекции Горчакова стала основой Калужского художественного музея.

После ареста большевиками последних владельцев имение пришло в упадок. В 1937 году была разорена Успенская церковь. До наших дней сохранился усадебный дом, в котором располагается средняя школа, и ряд других построек. Усадьба, спроектированная по примеру древнерусских хоромных домов, состоит из двух корпусов, соединённых галереей. По образцу зданий XVII века созданы наличники нескольких типов, крыльцо с кувшинообразными стопами, железный прорезной узор и разнообразные карнизы. Здание в южной части было увенчано двухярусной башней, верхний ярус которой не сохранился.

До наших дней уцелел также ландшафтный парк с прудом. Успенский храм восстановлен.