С 1744 по 1746 год Потап Гарденин занимал пост главы воронежского губернского магистрата. В 1735 году он построил в центре Воронежа каменный дом для своей семьи, который сохранился до наших дней и находится по адресу Фабричный переулок, 12. Этот дом является примером типичного русского провинциального купеческого дома XVIII века.

Спустя несколько лет Гарденин возвел еще два здания: суконную фабрику на углу современных улиц Степана Разина и Большой Манежной, которая сейчас является частью краеведческого музея с экспозицией «Отечественная война», и Тихвино-Онуфриевскую церковь на Фабричном переулке.

К концу XVIII века семья Гардениных обанкротилась. Внук Потапа Гарденина, Николай Яковлевич, продал фабрику городским властям, а в 1820 году дом был продан городу. В этом здании долгое время размещались различные учреждения, такие как больница, воспитательный дом, богадельня и дом инвалидов. Постройки Потапа Гарденина известны в научной литературе как «Гарденинский историко-архитектурный комплекс XVIII века» и находятся под государственной охраной как образец застройки Воронежа до 1774 года.