Здание, где ранее располагалось Дворянское собрание, было построено в 1837 году для приема наследника престола, будущего императора Александра II. Оно находилось на северо-восточном углу перекрестка улиц, ныне известных как Карла Маркса и Интернациональная. О внешнем виде и интерьере деревянного здания сведений не сохранилось. К концу 1880-х годов оно обветшало, и было решено построить новое здание, соответствующее статусу Дворянского собрания. В 1892 году тамбовский губернатор утвердил план нового здания, средства на которое собирались с дворян, пропорционально их владениям.

Проект был разработан младшим архитектором Ф.А. Свирчевским, но он, вероятно, использовал типовой проект, так как в то время в разных городах строились похожие здания. Тамбовская символика нашла отражение в декоративных элементах, таких как гербы уездных городов на колоннах главного входа. Строительство завершилось в 1897 году. Здание имело три фасадные стены, центральная из которых служила главным входом с изящными арочными проемами и балконом с ажурным ограждением.

Особняк был выполнен в стиле северо-европейского ренессанса, богатого декоративными элементами. Интерьеры также были оформлены в этом стиле. До наших дней сохранились некоторые элементы, такие как парадная лестница с чугунными перилами, украшенными гербом Тамбовской губернии, и большое зеркало на лестничной площадке.

В первые годы в здании обсуждались общественные мероприятия, и здесь формировалось мнение тамбовского дворянства по политическим и экономическим вопросам. В 1897 году здесь впервые в Тамбове был продемонстрирован синематограф Люмьера. В 1912 году в южном крыле открылся один из первых "электротеатров" под названием "Колизей", которое вскоре закрепилось за всем зданием. На сцене выступали такие известные артисты, как Ф.И. Шаляпин и пианист Я.И. Зилоти.

С августа 1920 до лета 1921 года в Тамбовской губернии происходило крестьянское восстание, известное как "Антоновщина". В это время Тамбов был укреплен частями Красной Армии под командованием М.К. Тухачевского. В здании, переименованном в "Рабочий дворец", находился пост красноармейцев, а также хранились оружие и боеприпасы. Здесь бывали многие партийные лидеры, такие как Л. Троцкий и М. Калинин. До 1929 года зрительный зал оставался самым вместительным в Тамбове, а в конце 1920-х здание было передано под театр. В 1937 году здесь был официально оформлен Тамбовский областной драматический театр имени А.В. Луначарского, который и сегодня занимает это здание.