Здание, возведенное в 1848 году, принадлежало известному таганрогскому домовладельцу Николаю Дмитриевичу Алфераки. Проект разработал архитектор Андрей Иванович Штакеншнейдер, профессор Петербургской академии художеств. В свое время дворец Алфераки был центром культурной жизни Таганрога, где устраивались грандиозные балы для избранного общества.

Рядом с дворцом, где проживал Николай Дмитриевич Алфераки, находился флигель коридорной системы. В нем жили его сыновья Николай, Ахиллес, Сергей и Михаил вместе с учителями и гувернёрами.

В конце 1870-х годов весь квартал, включая дворец, перешел к купцу Негропонте, который распродал имущество по частям. Дворец с садом приобрело купеческое общество для клуба «Коммерческое собрание», где проводились концерты. На одном из них, с участием профессора Петербургской консерватории Л. С. Ауэра и композитора Танеева, присутствовал А. П. Чехов. Клуб также посещал П. И. Чайковский во время своего визита в Таганрог. Атмосфера дворца и его клуба, а также прогулки в саду нашли отражение в рассказах Чехова «Ионыч», «Маска», «Моя жизнь».

К 1840 году Н. Д. Алфераки владел 2 тысячами десятин земли и 125 душами крестьян под Таганрогом; ему принадлежали 8 каменных домов и 25 каменных магазинов на таганрогской бирже. Из-за служебных дел он часто путешествовал, в то время как его семья жила в Харькове. В 1845 и 1848 годах Алфераки работал в Харьковской губернской почтовой конторе и одновременно управлял делами Харьковского театра, фактически финансируя его.