Комплекс "Углекислые ванны нарзана" был построен в 1903 году к столетию Кисловодска. Его разместили на правом берегу реки Ольховки, в центре города, на Тополевой аллее, ныне известной как Курортный бульвар, рядом с Деловым двором, чьи мастерские участвовали в строительстве. Здесь находилось небольшое нарзанное озеро. Проектирование поручили гражданскому инженеру Андрею Николаевичу Клепинину. Он создал проект двухэтажного здания: на нижнем этаже разместились нарзанные ванны и бассейны, а на верхнем, залы для массажа, сауны, пресные души различных типов для гидротерапии, а также особая массажная ванна "велленбад" с искусственным волнообразованием, где поток горячей воды лился из специального отверстия в стене.

Планировалось, что здание позволит приучить людей пользоваться водами и зимой.

Материалы для строительства привозили со всей страны: кирпич из Пятигорска, цемент с черноморских заводов "Цепь" и "Звезда", а также из Ростова-на-Дону, Армавира и Донецка. Плитка поступала со стекольного завода Сазонова, лес из Царицына от фирмы Максимова, а скульптуры выполнил Людвиг Карлович Шодкий.

Строительство длилось с 1901 по 1903 годы и стоило 393 тысячи царских рублей. Часть средств вложил эмир Сеид Абдулахад-хан Бухарский, лечившийся в Кисловодске в 1903 году.

После революции, к 1920 году, семья Клепининых эмигрировала через Константинополь в сербское поселение Бор, где архитектор построил церковь, дом Сокольского и больницу. В конце жизни он переехал к дочери в пригород Парижа и умер в 1954 году в местечке Маллкофф.

Семья Клепининых дружила с семьёй Марины Цветаевой. Её муж, С. Я. Эфрон, помог Клепининым вернуться на Родину, где их обвинили в шпионаже в пользу Франции и расстреляли в июле 1941 года.