La historia del museo comienza con el Museo Etnográfico y de Historia Natural del Ejército de Kubán, fundado en 1879 bajo el Comité Estadístico de la Región de Kubán. Su creador fue el historiador regional y oficial del ejército Evgeny Dmitrievich Felitsyn (1848-1903). Sus contemporáneos lo llamaban "la enciclopedia del Cáucaso" y "la crónica viva", ya que conocía perfectamente la historia y geografía de la región, así como la arqueología, etnografía, cartografía, geología, botánica y mineralogía.

Los primeros objetos del museo fueron regalos y donaciones de la población, así como colecciones personales de Felitsyn sobre arqueología y etnografía. Para adquirirlos, utilizó su modesto salario y a menudo se endeudaba. Gracias a él, el museo posee una de las mejores colecciones del mundo de estatuas de piedra "polovetsas", recolectadas de toda la región de Kubán. Ya en su primer año, la colección contaba con 276 objetos arqueológicos y 42 etnográficos.

Felitsyn estudió con entusiasmo la historia antigua de los pueblos del Cáucaso del Norte, identificando y recolectando monumentos arqueológicos. En 1879, descubrió en Ekaterinodar dos losas griegas que se creían perdidas y las envió a Moscú. En las losas estaban los nombres de Levkon, rey de los sindos, y Ksenoklid (siglo IV a.C.). Felitsyn también creó un mapa arqueológico único de las antigüedades de la región de Kubán, publicado en 1882 por la Sociedad Arqueológica Imperial de Moscú.

Evgeny Dmitrievich prestó especial atención a los monumentos de la historia rusa. En otoño de 1879, visitó Tamán, donde investigó la estancia de M.Yu. Lermontov. Felitsyn hizo dibujos y describió la cabaña del cosaco Mysnik, donde se alojó el poeta. Estas investigaciones ayudaron a crear en 1976 la exposición histórico-etnográfica del museo Lermontov en Tamán.

En marzo de 1880, el emperador Alejandro II otorgó a Felitsyn la Orden de San Stanislav de III clase por su trabajo. Fue elegido miembro honorario de varios comités estadísticos y sociedades, incluyendo la Sociedad Arqueológica de Moscú y la Sociedad Imperial de Amantes de la Historia Natural, Antropología y Etnografía.

Tras la muerte de Felitsyn, su biblioteca, documentos y fotografías se dispersaron en colecciones privadas. Solo en 1909, seis años después de su muerte, el ataman en funciones Mikhail Babych emitió un decreto para recopilar el archivo personal de Felitsyn y transferirlo al Museo del Ejército.