На месте, где сейчас находится Центр творчества, когда-то стоял дом губернатора Тамбовского наместничества, в котором жил Гаврила Романович Державин. Здесь он устраивал приемы и театральные постановки, наблюдая из окон за центральной площадью города, тогда называвшейся Наместнической, и рекой Цной с её окрестностями.

Сегодня Центр творчества окружён новыми зданиями, включая ТРЦ РИО, из-за которого городская Набережная остаётся без благоустройства уже около пяти лет. На месте парка пионеров 1940-х и 1950-х годов теперь стоит здание Росреестра.

На гравюре архитектора В.А. Усачёва 1799 года можно увидеть, как выглядел деревянный дом губернатора, где жил Державин. Дом выходил фасадом на Цну, в месте, где находился деревянный Ценский мост, ведущий на Пензенскую дорогу (ныне Рассказовское шоссе). Архивные документы сохранили описание дома с его комнатами, флигелями и подсобными помещениями. Флигели использовались для государственных нужд, здесь жил аптекарь, а затем заседали Совестный суд Верхней расправы и Нижний земский суд. В период службы Державина в Тамбове, с 1786 по 1788 годы, дом был в хорошем состоянии, в отличие от резиденции генерал-губернатора И.В. Гудовича. Именно из этого дома в январе 1789 года Державин отправился в Москву на суд по поводу строительства каменного моста через речку Студенец.

Старый дом губернатора существовал и в первой трети XIX века, даже после постройки нового каменного здания на Соборной площади в 1830 году. На плане Тамбова 1832 года дом Державина обозначен под номером 17.

В 1834 году был основан Александринский институт благородных девиц под покровительством императрицы Александры Фёдоровны. В 1836 году город посетил император Николай I, который поддержал инициативу дворянства, передав институту усадьбу старого губернаторского дома. В тот период главный усадебный корпус был ветхим, но ещё сохранялся. Здание для института, выходящее фасадом на Дворцовую улицу (ныне Советская), построили в 1843 году по проекту архитектора Александра Брюллова. Неизвестно, когда исчезло мемориальное здание, но горожане всегда о нём вспоминали.

В 1918 году Александринский институт закрыли, и его здание использовалось различными учебными заведениями. С 1932 года здесь размещалась железнодорожная школа № 51, которая использовала большой парк для прогулок и игр школьников, соревнований и репетиций к городским праздникам.

Во время Великой Отечественной войны здание служило военным госпиталем. После войны оно перешло к Тамбовскому государственному педагогическому институту, а теперь здесь находится Медицинский институт Тамбовского государственного университета имени Г.Р. Державина.

План Тамбова 1832 года позволяет определить местоположение дома губернатора на современном плане. Линии кварталов показывают, что постройка находилась почти на оси улицы Пензенской-Гимназической (ныне Коммунальная). Строительство Дворца пионеров в 1958-1961 годах могло частично задеть фундаменты старого дома. К сожалению, в 2010 году, когда рядом с Дворцом пионеров начали земляные работы для ТРЦ РИО, археологические исследования не проводились.

В 1980-е годы во Дворец пионеров приходило около 7000 школьников, а сейчас их всего 800. Раньше здесь занимались с утра до вечера, а теперь до обеда здание пустует, и в его помещениях царит тишина. Из окон всё ещё можно увидеть те же виды, которыми любовался Державин.