Es wird angenommen, dass das dreigeschossige Haus im klassizistischen Stil einige Jahre vor dem Beginn des Pugatschow-Aufstands erbaut wurde. Der Legende nach erstickten während der Einnahme des Dorfes die Aufständischen die betagte Hausherrin in einem Zimmer im obersten Stockwerk, die sich weigerte, mit ihren Kindern in den Wald zu fliehen. Als sie zurückkehrten, beschlossen die Söhne, das oberste Stockwerk abzureißen, um die Erinnerungen an die Tragödie loszuwerden.

Dokumentarische Beweise für diese Ereignisse gibt es nicht, abgesehen von der Liste der von Pugatschow hingerichteten Adligen, die von Alexander Puschkin erstellt wurde, in der das Ehepaar Dubenski erwähnt wird, das in der Oblast Penza getötet wurde. Der Ort ihres Todes ist jedoch nicht angegeben.

In Wirklichkeit wurde das Haus in den 20er und 30er Jahren des 19. Jahrhunderts errichtet, also ein halbes Jahrhundert nach den Pugatschow-Ereignissen. Es gibt Erinnerungen von Nikolai Dubenski, dem Anführer des Adels in Penza und Senator, der sich in dieser Zeit über das Fehlen eines geeigneten Hauses für den Empfang hochrangiger Gäste beschwerte. Wahrscheinlich begann er mit dem Bau des Hauses und der Gestaltung des Anwesens mit Teich und Park.

Der Bau zog sich aufgrund von Geldmangel hin, da es dem Senator nicht gut ging. Später fügten die neuen Besitzer dem Haus Ziegelanbauten hinzu, was sich deutlich im Unterschied der Architekturstile zeigt.

In der Zwischenzeit verfiel das Anwesen. Der mystische Ruhm des Hauses schreckte viele Bewohner ab. Mysteriöse leuchtende Kugeln und das spontane Bewegen von Gegenständen wurden mit der Hinrichtung der Hausherrin durch die Pugatschow-Bewohner in Verbindung gebracht, da man glaubte, dass ihre unruhige Seele ein schlechtes Omen geworden sei. Die Besitzer des Anwesens wechselten häufig.

Eine kurze Blütezeit erlebte das Haus vor der Revolution. Die letzte Hausherrin, Sofia Ladyzhenskaya, die nicht an Aberglauben glaubte, brachte den Park, die Blumenbeete und die Kieferallee in Ordnung, vertiefte den Teich und züchtete darin Forellen. Unter ihr wurden eine Pferdezucht, eine Mühle, eine Imkerei und ein Gewächshaus gebaut. Ein Einheimischer aus Zagoskino, Viktor Neklyudov, erinnerte sich daran, dass seine Mutter bei Ladyzhenskaya als Kellnerin arbeitete und die Hausherrin sehr liebte, die großzügig mit den Überschüssen der Erzeugnisse teilte.

Laut Viktor Nikolajewitsch gab es im Haus einen großen Keller, und in den Decken zwischen den Etagen gab es einen Raum, in dem eine Person Platz finden konnte. Der Zweck dieses Zugangs bleibt ein Rätsel.

Bei der Reinigung des Parks wurden zahlreiche alte Knöpfe, zerbrochene Porzellangeschirre, Statuetten und Münzen gefunden, von denen viele auf das 18. Jahrhundert datiert wurden.