Дворянский род Сумароковых ведет свое происхождение от Левиса, который прибыл из Швеции к великому князю Василию Дмитриевичу и принял крещение под именем Иуды. Упоминание о Сумароковых встречается в духовном завещании 1498 года князя Ивана Юрьевича Патрикеева, потомка Гедимина, главного воеводы московских князей Василия II Темного и Ивана III.

Усадьбу в Сивково обустроил Петр Панкратьевич Сумароков, действительный тайный советник. За главным домом усадьбы был разбит регулярный парк с прямыми липовыми аллеями и устроены два пруда. Крестьяне из Сивцева, как и владельцы имения, посещали церковные службы в соседнем селе Вознесенском в дни православных праздников.

По семейной легенде, Петр Панкратьевич был крестником Петра I. Он был богатым и влиятельным человеком; согласно данным Сенатского архива, в 1737 году в его шести имениях числилось 1670 крепостных крестьян, якобы подаренных ему Петром Великим.

Перед смертью Петр Панкратьевич разделил все свое имущество между женой Прасковьей Ивановной и детьми. Сивцево досталось его среднему сыну Александру. Александр Петрович был выдающейся личностью: после успешной карьеры на государственной службе он посвятил себя писательству. Указом императрицы от 28 августа 1762 года его долги были погашены за казенный счет, и он получил право издавать свои новые произведения за счет Кабинета Её Императорского Величества.

В 1769 году писатель поселился в родовом имении Сивцево и занялся его хозяйством. После его смерти осенью 1777 года поместье перешло к его дочери Прасковье, которая вышла замуж за графа Антона Петровича Головина. В начале XIX века главной хозяйкой поместья и соседних деревень стала внучка поэта, дочь графов Головиных Елизавета Антоновна.

Считается, что каменный одноэтажный усадебный дом с мезонином, выполненный в простой архитектуре, был построен в 1830-х годах, когда калужское имение приобрела Татьяна Львовна Миллер, урожденная Толстая. Семья Миллеров окончательно поселилась в Сивцеве после выхода в отставку мужа хозяйки усадьбы, бывшего московского полицмейстера, полковника Федора Ивановича Миллера.

С 1890-х годов имением владел их внук, гвардии поручик в отставке Федор Владимирович. После революции 1917 года потомков Миллеров выселили из имения, и в бывшем усадебном доме открыли приют для детей с психическими заболеваниями.

В настоящее время сохранились дом, построенный Миллерами в стиле позднего классицизма, и парк с прудом.