К ремесленной школе, расположенной на улице Дворянской, было пристроено двухэтажное каменное здание, спроектированное губернским инженером Колодко. В этом здании находилась домовая церковь во имя Николая Чудотворца, освященная 9 мая 1895 года. Церковь считалась одной из лучших в городе. Она была построена на средства В. Я. Швецовой и располагалась на втором этаже. С улицы Дворянской к ней вела парадная чугунная лестница, предположительно изготовленная на заводе И. М. Лобанова, хотя есть сведения, что литье выполнялось на уральских заводах. Паркетный пол и престол из кипариса в храме были сделаны воспитанниками ремесленной школы.

1 января 1892 года в здании ремесленной школы открылась картинная галерея, завещанная Пензе бывшим губернатором Н. Д. Селиверстовым. Галерея находилась там до 1897 года, когда ее перевели в здание художественного училища.