«Домик садовника», который, вероятно, изначально служил мыльней, был возведен в начале XIX века на территории Смотрительского двора. Он использовался как баня для многочисленных служащих и солдат, которые обслуживали царицынский парк и оранжереи. Имя архитектора неизвестно, но предполагается, что это был кто-то из окружения В.И. Баженова.

В 1840-х годах здание было переоборудовано для нужд Волостного правления. В 1930-е годы его перестроили и расширили. С 1930-х по 1970-е годы здесь находился Народный суд, а позже различные учреждения, включая Лечебно-трудовой профилакторий в 1975 году. Во второй половине 1970-х годов здание было разобрано.

В 2006-2007 годах ООО «Столичное археологическое бюро» провело раскопки, в ходе которых были обнаружены первоначальные фундаменты здания. Они представляли собой прямоугольную конструкцию с полуротондой на восточном фасаде.

Согласно Генеральному плану села Царицына, в начале XIX века рядом с «Домиком садовника» был разбит новый фруктовый сад. В настоящее время здесь высажены группы декоративных кустарников, таких как спирея, чубушник, сирень и гортензия, которые украшают эту территорию.