Территория усадьбы расположена на месте древнего городища XIV века. Первые упоминания о семье Кудрявцевых в Панском можно найти в записях жены генерал-майора Дмитрия Ивановича Кудрявцева, датированных 1829 годом. Во время войны с поляками раненый русский офицер нашел убежище у них и сделал предложение Софии Александровне. На тот момент ему было 40 лет, а ей всего 12,5. Изначально девушка не хотела выходить замуж, но со временем изменила свое мнение, и в 1796 году состоялась их свадьба.

Согласно преданию, в 1812 году в Панском находилась ставка казачьего атамана генерала М.И. Платова. К этому времени Кудрявцевы уже построили здесь усадебный дом. Спустя несколько десятилетий основатели усадьбы скончались, и имение перешло к их сыну. В середине XIX века усадьба начала приходить в упадок и вскоре обеднела.

После Октябрьской революции усадьбу использовали для курсов швей, после Великой Отечественной войны, как пионерский лагерь, а затем, как приют для сирот.

Во второй половине XX века здание использовалось как детский дом. Сейчас заброшенный дом постепенно разрушается.

К основному одноэтажному зданию, обшитому тесом и имеющему деревянные антресоли, пристроены деревянный шестиколонный портик и балкон с лестницей. В 50 метрах от дома сохранился флигель.