Музей был основан в ноябре 1920 года по решению Исполкома Ижевского городского Совета и изначально назывался Ижевским музеем местного края. Его основателем и первым директором стал врач ветеринарной амбулатории А. М. Филиппов, который совмещал эту работу с основной деятельностью.

За свою историю музей несколько раз менял название. В 1929 году он стал Областным музеем краеведения Вотской автономной области, в 1935 году, Музеем краеведения Удмуртской АССР, а в 1947 году, Удмуртским республиканским краеведческим музеем. В 1995 году по решению Правительства Удмуртской Республики его переименовали в Национальный музей Удмуртской Республики, а 24 апреля 2000 года он получил современное название в честь удмуртского поэта и общественного деятеля Кузебая Герда.

Первые музейные экспонаты в 1921 году были перенесены из ветеринарной амбулатории в здание бывшей немецкой кирхи на улице Советской, 9. В первые годы музей испытывал финансовые трудности, что почти остановило его работу. В 1922 и 1923 годах штат сократился до одного человека, который совмещал обязанности заведующего и сторожа. 1 апреля 1924 года на полную ставку был принят заведующий П. А. Антонов. В 1924/1925 году музей посетили 27 329 человек, а к 1 октября 1925 года его фонд насчитывал 1508 единиц.

В марте 1926 года директором музея стал Кузебай Герд, который прибыл из аспирантуры Восточного научно-исследовательского института в Москве. П. А. Антонов оставался заведующим. В мае 1926 года музей переехал в бывший дом купца Новикова, а позже, на улицу Ленина, 7. В 1926 и 1929 годах директором был М. И. Ильин.

В 1929 и 1932 годах музей возглавлял Г. Ф. Сидоров. В 1931 году музей переместился в здание Александро-Невского собора, а в 1932 году, в Михайловский собор, где была создана одна из первых в стране экспозиций с маятником Фуко. В 1933 и 1934 годах директором был Я. К. Кондратьев, а в 1934, 1937 годах, А. С. Четкарёв. В 1937 году музей переехал на улицу Карла Маркса, 23. В 1937, 1939 годах директором был Н. Г. Тимофеев, а в мае 1939 года его сменил М. Е. Воронцов.

В 1939 году, накануне войны, экспонаты музея были эвакуированы в Сарапул, а в Ижевске остался только филиал, дом-музей И. Д. Пастухова. В 1947 году коллекции вернулись в Ижевск и разместились в бывшем доме З. О. Лятушевича. С 1970 года музей находится в здании Арсенала Ижевского оружейного завода. В 1987, 1994 годах, во время ремонта Арсенала, музей временно располагался на улице Удмуртской, 214.

Музей насчитывает около 200 тысяч экспонатов, включая оружие, письменные источники, фотографии, исторические и археологические памятники, национальные костюмы и крестьянскую утварь. Экспозиционно-выставочная площадь составляет 2107 м², и ежегодно его посещают до 200 тысяч человек. Музей также располагает редкими книгами, всего 5700 экземпляров.

Здание музея, ранее принадлежавшее Арсеналу, является памятником архитектуры XIX века. Оно имеет П-образную форму, открытая часть которой обращена на юг, и занимает площадь 3000 м². Архитектором выступил С. Е. Дудин, строительство началось в 1823 году и завершилось в 1827 году. Император Александр I, посетивший Ижевский завод и Арсенал, наградил Дудина орденом Владимира 4-й степени. Первоначально здание служило складом для 75 тысяч единиц стрелкового оружия и образцов заводских механизмов.

В 1914 году сюда переехала ложевая мастерская, ранее находившаяся на территории оружейного завода. В 1975 году здание Арсенала было признано памятником федерального значения, а в 1987 и 1994 годах его отреставрировали.