El territorio de la hacienda se encuentra en el lugar de un antiguo asentamiento del siglo XIV. Las primeras menciones de la familia Kudryavtsev en Panskoye se pueden encontrar en los registros de la esposa del general mayor Dmitry Ivanovich Kudryavtsev, datados en 1829. Durante la guerra con los polacos, un oficial ruso herido encontró refugio con ellos y le propuso matrimonio a Sofía Alexandrovna. En ese momento, él tenía 40 años y ella solo 12,5. Inicialmente, la chica no quería casarse, pero con el tiempo cambió de opinión, y en 1796 se celebró su boda.

Según la leyenda, en 1812, Panskoye fue la sede del ataman cosaco general M.I. Platov. Para entonces, los Kudryavtsev ya habían construido aquí la casa de la hacienda. Pasadas unas décadas, los fundadores de la hacienda fallecieron, y la propiedad pasó a su hijo. A mediados del siglo XIX, la hacienda comenzó a decaer y pronto se empobreció.

Después de la Revolución de Octubre, la hacienda se utilizó para cursos de costura, después de la Gran Guerra Patriótica, como campamento de pioneros, y luego, como refugio para huérfanos.

En la segunda mitad del siglo XX, el edificio se utilizó como hogar de niños. Ahora, la casa abandonada se está desmoronando gradualmente.

Al edificio principal de una planta, revestido de tablones y con altillos de madera, se le han añadido un pórtico de seis columnas de madera y un balcón con escaleras. A 50 metros de la casa se ha conservado un ala.