El edificio, construido en 1848, pertenecía al conocido propietario de Taganrog, Nikolai Dmitrievich Alferaki. El proyecto fue desarrollado por el arquitecto Andrei Ivanovich Shtakenshneider, profesor de la Academia de Bellas Artes de San Petersburgo. En su tiempo, el palacio Alferaki fue el centro de la vida cultural de Taganrog, donde se organizaban grandiosos bailes para la sociedad selecta.

Junto al palacio, donde residía Nikolai Dmitrievich Alferaki, se encontraba un ala del sistema de corredores. En ella vivían sus hijos Nikolai, Aquiles, Sergey y Mikhail junto con sus maestros y gobernantes.

A finales de la década de 1870, todo el barrio, incluido el palacio, pasó a manos del comerciante Negropont, quien vendió la propiedad por partes. El palacio con jardín fue adquirido por una sociedad comercial para el club "Asamblea Comercial", donde se llevaban a cabo conciertos. En uno de ellos, con la participación del profesor del Conservatorio de San Petersburgo L. S. Auer y el compositor Taneyev, estuvo presente A. P. Chejov. El club también fue visitado por P. I. Chaikovsky durante su visita a Taganrog. La atmósfera del palacio y su club, así como los paseos por el jardín, se reflejaron en los relatos de Chejov "Ionich", "Máscara", "Mi vida".

Para 1840, N. D. Alferaki poseía 2 mil desiatinas de tierra y 125 almas de campesinos cerca de Taganrog; le pertenecían 8 casas de piedra y 25 tiendas de piedra en la bolsa de Taganrog. Debido a asuntos de servicio, viajaba con frecuencia, mientras su familia vivía en Járkov. En 1845 y 1848, Alferaki trabajó en la oficina de correos de la gobernación de Járkov y al mismo tiempo gestionaba los asuntos del teatro de Járkov, financiándolo de hecho.