En abril de 1864, poco antes de la finalización de la Guerra del Cáucaso, el coronel del ejército cosaco de Kubán, Iván Diomidovich Popko, fue nombrado comandante del recién creado regimiento Psekupski en la stanitsa Klyuchevaya. A pesar de sus múltiples responsabilidades, encontró tiempo para crear un museo de montañeses. En julio de 1864, Popko envió una carta especial a los jefes de las stanitsas, en la que subrayó la importancia de preservar las huellas dejadas por los abadzéjos y bzhédúgos en la zona del regimiento.

Popko señaló que, aunque estos monumentos son modestos, representan un material valioso para el estudio de la cultura del pueblo. En el cuartel del regimiento Psekupski en la stanitsa Klyuchevaya (parte de Gorjachy Klyuch desde 1965) comenzaron a llegar exposiciones para el museo, y pronto surgió la necesidad de su almacenamiento.

Se encontró una solución: se instaló una saklya montañesa en el patio del regimiento, donde se ubicó el museo. Las exposiciones incluían objetos de artesanos de la época, así como artefactos de la época de los antiguos griegos y genoveses, objetos de la vida cotidiana y herramientas agrícolas.

En 1867, durante la visita del Gran Duque Mijaíl, representante del zar en el Cáucaso, se le presentaron las exposiciones del museo, divididas en tres secciones: paleontológica, mineralógica y etnográfica.

Este fue el primer museo en el Cáucaso. Incluso en Tiflis, una institución similar se inauguró solo en enero de 1867, a pesar de que allí se encontraba la gobernación de Rusia en el Cáucaso. En Ekaterinodar, el museo apareció solo en 1879.

Hoy, el museo histórico municipal de Gorjachy Klyuch se considera el sucesor del primer museo en el Cáucaso, fundado en 1864. Está ubicado en la calle central del balneario, en un edificio inaugurado en mayo de 2000. Las exposiciones se presentan en las salas de arqueología y paleontología, vida cotidiana de Kubán, historia militar y sala de exposiciones.