В 1797 году Арсеньев продал усадьбу Якову Алексеевичу Охотникову. Четыре поколения этой семьи владели усадьбой почти сто лет, до 1893 года, и именно с Охотниковыми связано её развитие и расцвет. К середине XIX века Охотниковы владели 14 тысячами десятин земли в Керенском уезде, входя в тройку самых состоятельных помещиков уезда и являясь одними из богатейших в губернии. В общей сложности, в различных губерниях им принадлежало более 127 тысяч десятин земли.

Следующим владельцем замка-дворца стал барон Сергей Рудольфович Штейнгель (1864-1905), наследник известного инженера-строителя барона Рудольфа Вильгельмовича Штейнгеля (1841-1892). Вероятно, Черкасское было приобретено на часть наследства отца после его смерти.

Архитектура замка сыграла важную роль. У отца Сергея в Киеве был дом с парком, который называли «волшебным замком» из-за его средневекового облика. Богатство и утончённый вкус барона позволили ему продолжить украшение замка в стиле, выбранном предыдущим владельцем. Известно, что он приглашал художника для оригинальной росписи печей в доме.

Барон вскоре разорился и в 1900 году продал Черкасское кадомскому купцу Василию Фёдоровичу Андронову. Во дворце было множество прекрасно оформленных комнат и каминный зал. Всё это стоило больших денег, учитывая, что железная дорога находилась в 30 верстах от Черкасского.

Андроновы вели открытый образ жизни, часто принимали гостей и устраивали концерты. В первое время Василий Васильевич Андронов постоянно жил в Черкасском, но затем стал уезжать на зиму с женой в Пензу. Он был последним владельцем Черкасского.

Вокруг усадьбы располагались различные постройки: кладовые, амбары, погреба, псарня и жилые дома для дворовых. Вероятно, они были выполнены в том же стиле, что и сохранившееся здание волостного правления, находящееся на другой стороне широкой улицы, на некотором расстоянии от дворца. Между аллеями высаживали декоративные кустарники с одиночными деревьями, такими как ель и сосна, цветники и фруктовые деревья. На юго-восточной границе сохранились сиреневые аллеи вдоль пруда, а с запада парк был обсажен елями.