Im April 1864, kurz vor dem Ende des Kaukasuskriegs, wurde Oberst Iwan Diomidowitsch Popko zum Kommandeur des neu gegründeten Psekupski-Regiments in der Staniza Klyutschaya ernannt. Trotz vieler Pflichten fand er Zeit, ein Museum für Bergbewohner zu gründen. Im Juli 1864 richtete Popko einen speziellen Brief an die Leiter der Stanizen, in dem er die Bedeutung der Erhaltung der Spuren betonte, die die Abadzechen und Bzhedugen im Gebiet des Regiments hinterlassen hatten.

Popko stellte fest, dass, obwohl diese Denkmäler bescheiden sind, sie wertvolles Material für das Studium der Kultur des Volkes darstellen. In das Hauptquartier des Psekupski-Regiments in der Staniza Klyutschaya (seit 1965 Teil von Goryatschi Klyutsch) begannen Exponate für das Museum einzutreffen, und bald entstand die Notwendigkeit, sie zu lagern.

Eine Lösung wurde gefunden: Auf dem Regimentshof wurde eine Bergsiedlung errichtet, in der das Museum untergebracht wurde. Die Exponate umfassten Gegenstände von Handwerkern jener Zeit sowie Artefakte aus der Zeit der alten Griechen und Genuesen, Gebrauchsgegenstände und landwirtschaftliche Werkzeuge.

Im Jahr 1867, während des Besuchs des Großherzogs Michael, des Vizekönigs des Zaren im Kaukasus, wurden ihm die Exponate des Museums präsentiert, die in drei Abteilungen unterteilt waren: paläontologisch, mineralogisch und ethnografisch.

Dies war das erste Museum im Kaukasus. Selbst in Tiflis wurde eine ähnliche Einrichtung erst im Januar 1867 eröffnet, obwohl sich dort die Vizekönigstelle Russlands im Kaukasus befand. In Jekaterinodar entstand das Museum erst 1879.

Heute betrachtet sich das städtische historische Museum von Goryatschi Klyutsch als Nachfolger des ersten Museums im Kaukasus, das 1864 gegründet wurde. Es befindet sich in der zentralen Straße des Kurorts, in einem Gebäude, das im Mai 2000 eröffnet wurde. Die Exponate sind in den Sälen für Archäologie und Paläontologie, kubanisches Alltagsleben, Militärgeschichte und im Ausstellungsraum präsentiert.