В апреле 1864 года, незадолго до завершения Кавказской войны, полковник кубанского казачьего войска Иван Диомидович Попко был назначен командиром новосозданного Псекупского полка в станице Ключевой. Несмотря на множество обязанностей, он нашёл время для создания музея горцев. В июле 1864 года Попко направил специальное письмо начальникам станиц, в котором подчеркнул важность сохранения следов, оставленных абадзехами и бжедугами в районе полка.

Попко отметил, что хотя эти памятники скромны, они представляют собой ценный материал для изучения культуры народа. В штаб-квартиру Псекупского полка в станице Ключевой (с 1965 года часть Горячего Ключа) начали поступать экспонаты для музея, и вскоре возникла необходимость в их хранении.

Решение было найдено: на полковом дворе установили горскую саклю, где разместили музей. Экспонаты включали предметы мастеров того времени, а также артефакты эпохи древних греков и генуэзцев, предметы быта и земледельческие орудия.

В 1867 году, во время визита Великого князя Михаила, наместника царя на Кавказе, ему были представлены экспонаты музея, разделённые на три отделения: палеонтологическое, минералогическое и этнографическое.

Это был первый музей на Кавказе. Даже в Тифлисе подобное учреждение открылось только в январе 1867 года, несмотря на то, что там находилось наместничество России на Кавказе. В Екатеринодаре музей появился лишь в 1879 году.

Сегодня городской исторический музей Горячего Ключа считает себя преемником первого музея на Кавказе, основанного в 1864 году. Он расположен на центральной улице курорта, в здании, открытом в мае 2000 года. Экспонаты представлены в залах археологии и палеонтологии, кубанского быта, военной истории и выставочном зале.