Das 1848 errichtete Gebäude gehörte dem bekannten Hausbesitzer aus Taganrog, Nikolai Dmitrievich Alferaki. Das Projekt wurde von dem Architekten Andrei Ivanovich Shtakenshneider, Professor der Petersburger Akademie der Künste, entworfen. Zu seiner Zeit war der Alferaki-Palast das Zentrum des kulturellen Lebens in Taganrog, wo grandiose Bälle für die auserwählte Gesellschaft stattfanden.

Neben dem Palast, in dem Nikolai Dmitrievich Alferaki wohnte, befand sich ein Flügel mit einem Korridorsystem. Dort lebten seine Söhne Nikolai, Achille, Sergei und Michail zusammen mit Lehrern und Gouvernanten.

In den späten 1870er Jahren ging das gesamte Viertel, einschließlich des Palastes, an den Kaufmann Negropont, der das Eigentum stückweise verkaufte. Der Palast mit Garten wurde von einer Kaufmannsgesellschaft für den Klub „Kommerzielles Versammlung“ erworben, wo Konzerte stattfanden. Bei einem dieser Konzerte, an dem der Professor der Petersburger Konservatoriums L. S. Auer und der Komponist Taneyev teilnahmen, war A. P. Tschechow anwesend. Auch P. I. Tschaikowski besuchte den Klub während seines Aufenthalts in Taganrog. Die Atmosphäre des Palastes und seines Klubs sowie Spaziergänge im Garten fanden ihren Niederschlag in Tschechows Erzählungen „Ionitsch“, „Maske“, „Mein Leben“.

Bis 1840 besaß N. D. Alferaki 2000 Desjatinen Land und 125 Seelen Bauern bei Taganrog; ihm gehörten 8 Steinhäuser und 25 Steingeschäfte an der Taganroger Börse. Aufgrund seiner dienstlichen Angelegenheiten reiste er oft, während seine Familie in Charkow lebte. In den Jahren 1845 und 1848 arbeitete Alferaki in der Charkower Provinzpoststelle und leitete gleichzeitig die Geschäfte des Charkower Theaters, das er faktisch finanzierte.