El linaje noble de los Sumarokov se origina en Levis, quien llegó de Suecia al gran duque Vasili Dmitrievich y fue bautizado con el nombre de Judas. La mención de los Sumarokov aparece en el testamento espiritual de 1498 del príncipe Iván Yurievich Patrikeev, descendiente de Gediminas, el principal voivoda de los príncipes moscovitas Vasili II el Oscuro e Iván III.

La finca en Sivtsovo fue acondicionada por Petr Pankratevich Sumarokov, consejero secreto de estado. Detrás de la casa principal de la finca se creó un parque regular con avenidas de tilos rectas y se construyeron dos estanques. Los campesinos de Sivtsovo, al igual que los propietarios de la finca, asistían a los servicios religiosos en la aldea vecina de Voznesensk en los días de festividades ortodoxas.

Según la leyenda familiar, Petr Pankratevich fue ahijado de Pedro I. Era un hombre rico e influyente; según los datos del archivo del Senado, en 1737 contaba con 1670 siervos en sus seis fincas, supuestamente regalados por Pedro el Grande.

Antes de su muerte, Petr Pankratevich dividió todos sus bienes entre su esposa Praskovia Ivanovna y sus hijos. Sivtsovo le correspondió a su hijo mediano, Aleksandr. Aleksandr Petrovich fue una personalidad destacada: tras una exitosa carrera en el servicio estatal, se dedicó a la escritura. Por decreto de la emperatriz del 28 de agosto de 1762, sus deudas fueron saldadas a expensas del tesoro, y recibió el derecho a publicar sus nuevas obras a costa del Gabinete de Su Imperial Majestad.

En 1769, el escritor se estableció en la finca familiar de Sivtsovo y se ocupó de su administración. Tras su muerte en otoño de 1777, la finca pasó a su hija Praskovia, quien se casó con el conde Antón Petrovich Golovin. A principios del siglo XIX, la principal propietaria de la finca y las aldeas vecinas fue la nieta del poeta, la hija de los condes Golovins, Elizaveta Antonovna.

Se considera que la casa de campo de piedra de un solo piso con un entrepiso, realizada en una arquitectura sencilla, fue construida en la década de 1830, cuando la finca de Kaluga fue adquirida por Tatiana Lvovna Miller, de soltera Tolstaya. La familia Miller se estableció definitivamente en Sivtsovo tras la jubilación del esposo de la propietaria de la finca, el ex jefe de policía de Moscú, el coronel Fiódor Ivanovich Miller.

Desde la década de 1890, la finca fue propiedad de su nieto, el teniente de la guardia en retiro Fiódor Vladimirovich. Después de la revolución de 1917, los descendientes de los Miller fueron desalojados de la finca, y en la antigua casa de campo se abrió un refugio para niños con enfermedades mentales.

En la actualidad, se han conservado la casa construida por los Miller en estilo neoclásico tardío y el parque con el estanque.