Евгений Фелицын родился 17 марта 1848 года в Ставрополе. Его отец был обер-офицером в Российской армии. В 1864 году он окончил Ставропольскую губернскую гимназию и поступил на военную службу унтер-офицером в 74-й Ставропольский пехотный полк, участвовавший в боевых действиях на Западном Кавказе. В составе этого полка он принимал участие в экспедициях против горцев.

После завершения Кавказской войны Фелицын в декабре 1864 года вышел в отставку без воинского звания, но через три года вернулся на службу. В июле 1869 года он был направлен в Тифлисское пехотное училище для обучения.

Завершив курс с отличием, Фелицын 20 октября 1872 года получил звание прапорщика. В 1875 году он по собственному желанию перевелся в Екатеринодарский конный полк Кубанского казачьего войска с переименованием в хорунжия и был прикомандирован к штабу Кубанского казачьего войска.

Во время Русско-турецкой войны 1877-1878 годов Фелицын служил старшим адъютантом Баталпашинского военного отдела, а затем был прикомандирован к сводному Хоперско-Кубанскому казачьему полку. В составе Марухского отряда под командованием генерал-лейтенанта Павла Бабыча он участвовал в походе против турецких войск на Сухум.

За усердие в обеспечении движения отряда Фелицын 30 ноября 1879 года получил звание сотника. После войны с Турцией он вновь был назначен старшим адъютантом штаба Кубанского казачьего войска.

В 1884 году Фелицын был награжден чином есаула, а через три года переведен в I Екатеринодарский полк, где стал командиром сотни. В 1888 году он занял должность правителя канцелярии начальника Кубанской области и наказного атамана Кубанского казачьего войска.

Через четыре года Фелицын был командирован в Тифлис, где в декабре стал исполняющим обязанности председателя Кавказской археографической комиссии. Позже он был награжден чином войскового старшины.

Находясь на военной службе, Фелицын увлекался естествознанием, собирая материалы по палеонтологии, ботанике, минералогии и геологии. Он изучал архивные материалы по истории Кубани, а также демографии и этнографии горских племен Северного Кавказа.

Фелицын также собирал биографические сведения о военных деятелях на Кавказе и героических подвигах русских воинов и горцев, лично посещая места событий.

Свою литературную деятельность он начал с публикаций в газете «Кубанские областные ведомости». Его работы также публиковались в таких изданиях, как «Тифлисские ведомости», «Кавказ», «Известия Общества любителей естествознания, антропологии и этнографии», «Кубань» и других.

Евгений Дмитриевич был первым секретарем Кубанского областного статистического комитета и редактировал его издания. Он также занимался редакцией неофициальной части газеты «Кубанские областные ведомости».

Фелицын издал два тома «Кавказского сборника» и семь «Памятных и справочных книжек Кубанской области». Он также составил «Библиографический указатель литературы о Кубанском казачьем войске и Черноморской губернии».

На посту председателя Кавказской археографической комиссии Фелицын редактировал 12 том «Актов, собранных Кавказской археографической комиссией».

Его любимым предметом исследований была археология. Фелицын совершил ряд археологических экспедиций по Кубанской области, исследовал курганы и дольмены, описав более 700 мегалитических гробниц. Находки он отправлял в музеи Тифлиса, Москвы и Санкт-Петербурга.

Фелицын активно занимался общественной деятельностью, в том числе благотворительностью и развитием инфраструктуры. Он также исследовал сельскохозяйственные и экономические вопросы Кубанской области.

Фелицын профессионально занимался фотографией, снимая исторически значимые объекты и природные виды. Некоторое время он увлекался музыкой, писал и издавал музыкальные пьесы и марши.

В последние годы жизни Фелицын, проживая в Екатеринодаре, вел уединенный образ жизни, занимаясь подготовкой к изданию своих работ. В конце лета 1903 года он отправился в Геленджик для поправки здоровья, но вскоре вернулся в Екатеринодар.

Евгений Дмитриевич скончался 23 декабря 1903 года в возрасте 55 лет в Кубанской войсковой больнице от воспаления мозга. Панихида прошла в Воскресенской церкви, и его похоронили на офицерской части войскового кладбища.