Считается, что трехэтажный дом в стиле классицизма был построен за несколько лет до начала Пугачевского восстания. По легенде, во время захвата села, в комнате на верхнем этаже, бунтовщики задушили престарелую хозяйку, которая отказалась скрыться в лесу вместе с детьми. Вернувшись, сыновья решили разобрать верхний этаж, чтобы избавиться от воспоминаний о трагедии.

Документальных подтверждений этих событий нет, за исключением списка казненных пугачевцами дворян, составленного Александром Пушкиным, где упоминаются супруги Дубенские, убитые в Пензенской губернии. Однако место их гибели не указано.

На самом деле, дом был заложен в 20-30-х годах XIX века, спустя полвека после пугачевских событий. Сохранились воспоминания Николая Дубенского, предводителя Пензенского дворянства и сенатора, который в этот период жаловался на отсутствие подходящего дома для приема высокопоставленных гостей. Вероятно, он и начал строительство дома и обустройство усадьбы с прудом и парком.

Строительство затянулось из-за нехватки средств, так как дела у сенатора шли неважно. Позднее новые владельцы пристроили к дому кирпичные приделы, что заметно по различию в архитектурных стилях.

Тем временем имение приходило в упадок. Мистическая слава дома отпугивала многих обитателей. Таинственные светящиеся шары и самопроизвольное перемещение предметов связывали с казнью помещицы пугачевцами, полагая, что ее неупокоенная душа стала дурным предзнаменованием. Владельцы усадьбы часто менялись.

Кратковременный расцвет дом пережил перед революцией. Последняя хозяйка, Софья Ладыженская, не верившая в приметы, привела в порядок парк, цветники и сосновую аллею, углубила пруд и развела в нем форель. При ней были построены конеферма, мельница, пасека и теплица. Старожил села Загоскино, Виктор Неклюдов, вспоминал, что его мать работала у Ладыженской официанткой и очень любила хозяйку, которая щедро делилась излишками продукции.

По словам Виктора Николаевича, в доме был большой подвал, а в перекрытиях между этажами существовало пространство, в котором мог поместиться человек. Назначение этого лаза остается загадкой.

При расчистке парка находили множество старинных пуговиц, битой фарфоровой посуды, статуэток и монет, многие из которых датировались XVIII веком.