Музыкальная школа в Пензе была основана при местном отделении Императорского Русского музыкального общества и освящена 24 сентября (6 октября) 1882 года. Изначально занятия по фортепиано, скрипке, виолончели и сольному пению проводились в двух комнатах Дома дворянства. В начале XX века, сменив несколько адресов, школа нашла постоянное место в городской усадьбе на улице Пешей, ныне улице Богданова.

Здание школы, построенное в XIX веке в стиле модерн, признано объектом культурного наследия.

С 1902 года школой руководил Лев Соломонович Шор, который с момента открытия преподавал там фортепиано. В 1904 году к нему присоединился Николай Александрович Витвер, который позже основал Пензенскую фортепианную школу.

После революции, по предложению выпускника Федора Петровича Вазерского, школа была преобразована в Народную консерваторию. С 1918 года в ней обучалось около 1000 молодых музыкантов.

В 1920 году директором стал Алексей Васильевич Касторский. Учебное заведение получило статус училища второй ступени и было переименовано в музыкальный техникум. Обучение продолжалось без перерыва: талантливые ученики школы поступали в техникум без экзаменов.

В 1925 году директором стал Алексей Сергеевич Турищев, автор песни «Врагу не сдаётся наш гордый „Варяг“».