История музея начинается с Кубанского Войскового этнографического и естественно-исторического музея, основанного в 1879 году при Кубанском областном статистическом комитете. Его создателем стал региональный историк и войсковой старшина Евгений Дмитриевич Фелицын (1848-1903). Современники называли его «энциклопедией Кавказа» и «живой летописью», так как он прекрасно знал историю и географию региона, а также археологию, этнографию, картографию, геологию, ботанику и минералогию.

Первые экспонаты музея были подарками и пожертвованиями от населения, а также личными коллекциями Фелицына по археологии и этнографии. Для их приобретения он использовал своё скромное жалование и часто влезал в долги. Благодаря ему музей обладает одной из лучших в мире коллекций каменных «половецких» изваяний, собранных со всей Кубанской области. Уже в первый год коллекция насчитывала 276 археологических и 42 этнографических предмета.

Фелицын с энтузиазмом изучал древнюю историю народов Северного Кавказа, выявляя и собирая археологические памятники. В 1879 году он обнаружил в Екатеринодаре две греческие плиты, считавшиеся утерянными, и отправил их в Москву. На плитах были имена Левкона, царя синдов, и Ксеноклида (IV в. до н.э.). Фелицын также создал уникальную археологическую карту древностей Кубанской области, изданную в 1882 году Императорским Московским археологическим обществом.

Особое внимание Евгений Дмитриевич уделял памятникам русской истории. Осенью 1879 года он посетил Тамань, где исследовал пребывание М.Ю. Лермонтова. Фелицын сделал рисунки и описал хату казака Мысника, где останавливался поэт. Эти исследования помогли создать в 1976 году историко-этнографическую экспозицию музея Лермонтова в Тамани.

В марте 1880 года император Александр II наградил Фелицына орденом Станислава III степени за его труды. Он был избран почетным членом различных статистических комитетов и обществ, включая Московское археологическое общество и Императорское общество любителей естествоиспытания, антропологии и этнографии.

После смерти Фелицына его библиотека, документы и фотографии разошлись по частным коллекциям. Лишь в 1909 году, спустя шесть лет после его смерти, наказной атаман Михаил Бабыч издал указ о сборе личного архива Фелицына и передаче его Войсковому музею.