1 февраля 1996 года глава администрации Йошкар-Олы издал постановление о создании музея истории города. Музей открылся после реконструкции здания 30 сентября того же года. В его создании участвовали глава администрации Вениамин Козлов, его заместитель Л. Ф. Ожиганов, начальник отдела культуры Михаил Васютин, а также краеведы и общественные деятели. Первым директором стала Людмила Арсеньевна Парманова.

8 мая 2005 года, в честь 60-летия Победы в Великой Отечественной войне, был открыт отдел воинской славы.

Музей располагает 130 м² для постоянных экспозиций, 208 м² для временных выставок и 40 м² для фондохранилищ. В 2014 году в его фондах насчитывалось 17 501 экспонат, включая 12 356 предметов основного фонда. Среди наиболее ценных коллекций, фотографии города конца XIX и начала XX века «Царевококшайск, Йошкар-Ола» и коллекция гербовых знаков «Города России».

Постоянная экспозиция «Древний Царевокшайск» рассказывает о предпосылках основания города на Кокшаге, его социально-экономическом развитии, градостроительстве, быте, традициях и судьбах известных горожан. Современная научная и культурная жизнь города отражена во временных выставках.

Отдел воинской славы включает два зала. Первый посвящен истории Великой Отечественной войны в контексте города, второй, военным событиям современности, включая Афганскую и Чеченские войны.

Музей проводит экскурсии по залам, а также пешеходные и автобусные экскурсии по городу, выездные лекции, занимается научной и культурной деятельностью. При музее действуют Общество любителей православной культуры, Клуб знатоков города, объединение по русскому фольклору «Царёв город», детская студия «Теремок» и Театральная гостиная.

Главное здание музея находится в усадьбе Чулкова на улице Вознесенская, 39. Усадьба, построенная в 1911 году, является памятником истории и культуры регионального значения. Двухэтажное здание из красного кирпича украшено узорами и металлической резьбой в стиле модерн. Кроме главного дома, в усадьбу входят дом с мезонином и флигель.

В 1906 году лесопромышленник Трофим Васильевич Чулков приобрел участок в Царевококшайске и построил два дома: деревянный с мезонином в 1908 году и два каменных, двухэтажный и одноэтажный флигель в 1911 году. Каменные дома строились под руководством его сына Николая Чулкова. После постройки в доме разместились казначейство и уездная землеустроительная комиссия, а второй этаж занимал уездный исправник Иосиф Адамович Каменский.

В 1921 году дома Чулковых были национализированы и использовались различными учреждениями, включая продовольственные отделы, Обик и Облплан, Госбанк и сберкассу.

В 1996 году здание было реконструировано и стало домом для музея.