Дом был возведен тульским промышленником Иваном Васильевичем Ливенцевым, который владел уральскими металлургическими заводами и был городским главой Тулы. При его руководстве Тула из небольшой деревни превратилась в современный по тем временам город. Ливенцев следовал указу Екатерины Великой, которая в те годы активно занималась планомерной застройкой российских городов. Императрица требовала строительства новых каменных зданий и создания сетки ровных улиц, ориентированных на центр города, которым в Туле был Кремль, а также переноса кладбищ за пределы города. Вся новая застройка велась в соответствии с генеральным планом. Указ был издан в 1779 году, и при Ливенцеве его положения быстро начали воплощаться в жизнь, что позволило Туле стать одним из городов-новаторов. Усадьба Ливенцева, владельца железоделательных заводов, была построена в конце XVIII века, как рассказала Александра Изгаршева. Это завершенный архитектурный ансамбль в стиле классицизма, состоящий из трехэтажного главного здания и двух боковых двухэтажных флигелей, объединенных каменной оградой. Усадьба предназначалась для общественных нужд, торжественных приемов, праздников и балов. Планировка второго этажа была тщательно продумана, с большой залой и прилегающими к ней рекреациями.

Среди редких малых архитектурных форм раннего классицизма, как отмечает доктор технических наук В. Уклеин в книге «Тула, каменная летопись», выделяются въездные ворота на усадьбу Ливенцева, поражающие своей утонченностью и красотой. Заслуженный архитектор РСФСР И. Грызлов добавляет, что от всего сооружения исходит особое столичное изящество, свидетельствующее о мастерстве архитектора.

Главный фасад украшали плоские и широкие лопатки, объединенные в два верхних этажа. В чердачной люкарне раньше находились большие круглые часы, символизировавшие почтовое учреждение. Усадьба была отделена от улицы оградой с въездными воротами в стиле раннего русского классицизма. До наших дней дошли красивые пилоны в виде дорических колонн. Внутреннее убранство дома не сохранилось, но жильцы вспоминают о найденных изразцовых печах и мозаике, украшавшей пол. Сохранилась лишь чугунная лестница. Из подвала можно было попасть к реке по подземному ходу. Архитектор особняка неизвестен, но предполагается, что это был один из крупных столичных мастеров. В 1804 году здание было продано почтовой конторе и оставалось за ней более века, до 1920-х годов, после чего его отдали под жилье. Сначала там были коммунальные квартиры, а в конце 1980-х годов здание перешло к Молодежному жилищному кооперативу.

В советское время активно обсуждался вопрос сохранения усадьбы Ливенцева как памятника архитектуры. В 1985 году тульские творческие союзы обратились с предложением передать дом для нужд творческой интеллигенции, но это не было поддержано. Через четыре года Союз театральных деятелей РСФСР предложил взять здание на баланс и провести восстановительные работы для создания Дома актера. Другие здания усадьбы также планировалось передать творческим союзам. Усадьба могла стать Центром творческой интеллигенции, но в итоге дом на улице Дзержинского, 15 был передан тресту «Тулгоргражданстройпроект» под общежитие. Сейчас его состояние оставляет желать лучшего: стены облупились, ворота разрушены, а территория неухожена. Возможно, если бы усадьба была в ведении тульской интеллигенции, ее судьба сложилась бы иначе.