Музей был основан в августе 1918 года. 6 ноября 1920 года при Глазовском уездном отделе народного образования открылось музейно-экскурсионно-выставочное отделение под руководством А. И. Ежовой. До 1922 года оно располагалось в здании Отдела народного образования, в бывшем доме прокурора М. С. Мешкова на углу современных улиц К. Маркса и Сибирской. Этот дом сейчас не существует.

Из экспедиций А. И. Ежовой в музей поступили национальные удмуртские, чувашские и татарские костюмы, вышивки и украшения. Фонды музея также пополнились минералами Урала и Приуралья. Из Государственного музейного фонда поступили картины, художественный фарфор и монеты. Был организован отдел труда, где экспонировались ремёсла и промышленность, а также отдел быта с предметами обихода, орудиями труда и национальными костюмами.

В январе 1925 года выставочное отделение было преобразовано в музей местного края под руководством А. И. Наговицыной. Музей находился в одном из помещений центральной городской библиотеки имени В. Г. Короленко. С 1929 по 1934 год музей занимал чердачное помещение бывшего особняка Тимофеевых и Смагиных на площади Свободы и не проводил постоянные экспозиции. В 1934 году музей разместился на этаже Дома вотской культуры, позднее Районного дома культуры, на ул. Первомайская, 33. В 1937 и 1938 годах действовали экспозиции «Удмуртия при капитализме» и «Удмуртия при социалистическом строительстве».

В 1941 году здание было передано под госпиталь, а фонды переместили на склад. Во время войны все экспонаты музея, хранившиеся на складе райисполкома, были утеряны.

В 1946 и 1949 годах заведующий музеем А. К. Ившин практически заново создавал экспозицию. Музей возобновил работу на общественных началах в мае 1947 года как Глазовский районный краеведческий музей. В 1949 году музею выделили нижний этаж в прежнем месте, Районном доме культуры. В 1952 году музей переехал в здание Преображенского собора на площади Свободы.

В 1954 году музей был ликвидирован решением Совета министров РСФСР, а экспонаты и имущество переданы республиканскому музею Ижевска. В 1962 году музей был вновь создан на общественных началах как народный краеведческий музей, открытие состоялось 2 июля 1963 года.

В 1968 году Глазовский народный музей стал филиалом Удмуртского республиканского краеведческого музея. С 1983 по 1985 год музеем руководил краевед М. И. Буня, благодаря которому в 1984 году музею выделили часть здания Дома пионеров, бывшего здания женской Александровской гимназии, где музей располагается сейчас. В 1985 году заведующей Глазовским филиалом Удмуртского Республиканского краеведческого музея стала О. Н. Коробейникова.

В 1992 году музей стал самостоятельным учреждением под названием Глазовский историко-краеведческий музей. В 1993 году открылся филиал, музей под открытым небом «Иднакар», который стал самостоятельным в 2000 году.

С ноября 1999 по июль 2014 года музей возглавляла Н. Н. Кислова. В 2003 году коллектив музея был занесён на городскую Доску почета. В 2011 году музей получил нынешнее название, Муниципальное бюджетное учреждение культуры «Глазовский краеведческий музей».

Экспозиционно-выставочная площадь музея составляет 319,8 м², а площадь фондохранилищ, 130,3 м². В основном фонде музея хранится 29 603 единицы, по состоянию на 1 января 2012 года.

В музее семь экспозиционных залов: Экспериментальная экспозиция информационного центра «Вселенная и Человек», «Иднакар, древнее городище удмуртов», «Глазов и Глазовский уезд», «Во вверенном мне городе Глазове», посвященная жизни и службе П. Ф. Чайковского, Литературно-музыкальная гостиная «Театр дал мне жизнь», посвященная творчеству О. Л. Книппер-Чеховой, и выставка-продажа «Город мастеров».