В 1919 году в здании женской гимназии открылся Народный дом, где одна из комнат была выделена под музей, объединивший все школьные краеведческие коллекции. В штатах не было специального сотрудника для управления музеем, поэтому эту работу добровольно взял на себя Сергей Иванович Пономарев, преподаватель естествознания в школе №4. Музей активно пополнялся новыми экспонатами, которые в основном поступали из сельских школ. Учителя присылали предметы мордовской старины, одежду и утварь. Нумизматический отдел музея пополнялся старинными монетами, найденными при земляных работах.

С ноября 1925 года музеем стал руководить Александр Николаевич Изосимов, ранее работавший учителем в Жегаловской начальной школе. Штатной должности музейного работника всё ещё не было.

В 1928 году была утверждена штатная должность для заведующего музеем, и начали выделяться средства на приобретение экспонатов.

Музей не имел постоянного помещения и переезжал из одного здания в другое. С 1948 года он располагался в здании, ранее принадлежавшем купцу Котову, бывшем соляном складе, где оставался до 1970 года. С декабря 1970 года музей переехал в здание на ул. Советская площадь 4, где ранее находилась электростанция. С 1992 года его перевели в здание на ул. К.Маркса 3. С 18 октября 2010 года музей разместился в новом здании Дворца культуры.

В музее четыре отдела: отдел природы, отдел дореволюционного прошлого, комната боевой славы и вице-адмирала военно-морского флота А.С. Шиндяева и моряков-пограничников, а также отдел "Сделано в СССР".

Все отделы существуют давно, но ежегодно пополняются новыми экспонатами в соответствии с их тематикой. Также оформляются альбомы по Великой Отечественной войне, воинам-интернационалистам, творческим людям и другим темам.

В фондах музея хранится более 13 тысяч экспонатов. Наиболее ценные и уникальные коллекции включают нумизматику, археологическую и этнографическую коллекции, а также коллекцию чучел животных и птиц.