L'histoire du musée commence avec le Musée ethnographique et d'histoire naturelle des troupes du Kouban, fondé en 1879 au sein du comité statistique de la région du Kouban. Son créateur était l'historien régional et officier des troupes Evgueni Dmitrievitch Felitsine (1848-1903). Ses contemporains l'appelaient « l'encyclopédie du Caucase » et « la chronique vivante », car il connaissait parfaitement l'histoire et la géographie de la région, ainsi que l'archéologie, l'ethnographie, la cartographie, la géologie, la botanique et la minéralogie.

Les premières expositions du musée étaient des dons et des contributions de la population, ainsi que des collections personnelles de Felitsine en archéologie et en ethnographie. Pour les acquérir, il utilisait son modeste salaire et s'endettait souvent. Grâce à lui, le musée possède l'une des meilleures collections au monde de statues en pierre « polovtsiennes », rassemblées dans toute la région du Kouban. Dès la première année, la collection comptait 276 objets archéologiques et 42 objets ethnographiques.

Felitsine étudiait avec enthousiasme l'histoire ancienne des peuples du Caucase du Nord, identifiant et rassemblant des monuments archéologiques. En 1879, il découvrit à Ekaterinodar deux plaques grecques considérées comme perdues et les envoya à Moscou. Les plaques portaient les noms de Levkon, roi des Sindes, et de Ksenoklid (IVe siècle av. J.-C.). Felitsine créa également une carte archéologique unique des antiquités de la région du Kouban, publiée en 1882 par la Société archéologique impériale de Moscou.

Felitsine accordait une attention particulière aux monuments de l'histoire russe. À l'automne 1879, il visita Taman, où il étudia le séjour de M.Yu. Lermontov. Felitsine fit des dessins et décrivit la maison du cosaque Mysnik, où le poète s'était arrêté. Ces recherches ont contribué à la création en 1976 d'une exposition historique et ethnographique du musée Lermontov à Taman.

En mars 1880, l'empereur Alexandre II récompensa Felitsine de l'ordre de Stanislas de IIIe classe pour ses travaux. Il fut élu membre d'honneur de divers comités et sociétés statistiques, y compris la Société archéologique de Moscou et la Société impériale des amateurs d'histoire naturelle, d'anthropologie et d'ethnographie.

Après la mort de Felitsine, sa bibliothèque, ses documents et ses photographies furent dispersés dans des collections privées. Ce n'est qu'en 1909, six ans après sa mort, que le ataman de la région, Mikhaïl Babytch, publia un décret pour rassembler l'archive personnelle de Felitsine et la transmettre au Musée des troupes.