16 декабря 1884 года была открыта ремесленная школа имени Ф. Е. Швецова, предназначенная для обучения мальчиков из малообеспеченных семей столярному, токарному, слесарному, резному, сапожному, башмачному и портняжному ремеслам. Школа разместилась на территории усадьбы, которую завещал городу купец Федор Егорович Швецов. Он оставил дом с флигелем и землей на углу Дворянской и Никольской улиц, шесть лавок на Базарной площади и 20 тысяч рублей с условием создания ремесленной школы. В основном здесь обучались сироты и дети из бедных семей, которые спустя пять лет получали звание мастера I или II разряда. Однако удалось организовать только столярно-токарное и сапожное ремесла, и в 1897 году сапожная мастерская была закрыта из-за нехватки средств. Поскольку средств из капитала Швецова было недостаточно для содержания школы, в 1895 году она обратилась к городу за финансовой поддержкой. Здание школы было построено матерью завещателя Варварой Яковлевной Швецовой.

С сентября 1883 года начались работы по переоборудованию двухэтажного каменного флигеля, ранее используемого как жилые помещения, под нужды школы. В конце следующего года завершилась внутренняя отделка здания, где разместились мастерские, спальни для 20 учеников и кухня. В 1887 году было отделано примыкающее здание, так как количество учащихся увеличилось до 40 человек. Однако вскоре, из-за снижения доходов от торговых лавок на Базарной площади, подвальный и первый этажи здания были сданы под квартиры 2-му приходскому училищу и для городовых.

Позже к школе со стороны Дворянской улицы было пристроено двухэтажное каменное здание, спроектированное губернским инженером Колодко, с домовой церковью во имя Николая Чудотворца, освященной 9 мая 1895 года. Эта церковь считалась одной из лучших в городе. Средства на ее строительство предоставила В. Я. Швецова. Церковь находилась на втором этаже, куда вела чугунная лестница с парадного крыльца, изготовленная на заводе И. М. Лобанова. Паркетный пол и престол из кипариса были сделаны учениками школы. Резной ореховый иконостас создал пензенский мастер Давыдов, иконы написал московский художник Сафонов, а внутреннюю отделку выполнил М. А. Рудкевич. Все церковные принадлежности были приобретены в Самаре за счет В. Я. Швецовой.

1 января 1892 года в здании школы открылась картинная галерея, завещанная Пензе бывшим губернатором Н. Д. Селиверстовым. Она находилась там до 1897 года, когда была переведена в здание художественного училища.