En avril 1864, peu avant la fin de la guerre du Caucase, le colonel des Cosaques de Kouban, Ivan Diomidovitch Popko, a été nommé commandant du nouveau régiment de Psekoup dans la stanitsa de Kliouchaïa. Malgré de nombreuses responsabilités, il a trouvé le temps de créer un musée des montagnards. En juillet 1864, Popko a envoyé une lettre spéciale aux chefs des stanitsas, soulignant l'importance de préserver les traces laissées par les Abadzeks et les Bjedougs dans la région du régiment.

Popko a noté que bien que ces monuments soient modestes, ils représentent un matériel précieux pour l'étude de la culture du peuple. Des objets pour le musée ont commencé à arriver au quartier général du régiment de Psekoup dans la stanitsa de Kliouchaïa (devenue partie de Gorjachy Klyuch en 1965), et il est vite devenu nécessaire de les conserver.

Une solution a été trouvée : une saklya montagnarde a été installée dans la cour du régiment, où le musée a été placé. Les expositions comprenaient des objets d'artisans de l'époque, ainsi que des artefacts de l'époque des Grecs anciens et des Génois, des objets de la vie quotidienne et des outils agricoles.

En 1867, lors de la visite du Grand-Duc Mikhaïl, représentant du tsar au Caucase, il a été présenté des objets du musée, répartis en trois sections : paléontologie, minéralogie et ethnographie.

C'était le premier musée du Caucase. Même à Tiflis, une institution similaire n'a ouvert qu'en janvier 1867, bien qu'elle ait été le siège de la vice-royauté de Russie au Caucase. À Ekaterinodar, le musée n'est apparu qu'en 1879.

Aujourd'hui, le musée historique de la ville de Gorjachy Klyuch se considère comme le successeur du premier musée du Caucase, fondé en 1864. Il est situé sur la rue principale de la station, dans un bâtiment ouvert en mai 2000. Les expositions sont présentées dans des salles d'archéologie et de paléontologie, de la vie quotidienne de Kouban, d'histoire militaire et dans une salle d'exposition.