Am 16. Dezember 1884 wurde die Handwerksschule F. E. Shvetsov eröffnet, die für die Ausbildung von Jungen aus einkommensschwachen Familien in Tischler-, Dreher-, Schlosser-, Schnitz-, Schuhmacher-, Stiefelmacher- und Schneiderberufen gedacht war. Die Schule befand sich auf dem Gelände des Anwesens, das der Kaufmann Fedor Egorovich Shvetsov der Stadt vermacht hatte. Er hinterließ ein Haus mit Anbau und Land an der Ecke der Dvorjanskaja und Nikolskaja Straße, sechs Läden auf dem Basarplatz und 20.000 Rubel unter der Bedingung, eine Handwerksschule zu gründen. Hauptsächlich wurden hier Waisen und Kinder aus armen Familien ausgebildet, die nach fünf Jahren den Titel eines Meisters der I. oder II. Klasse erhielten. Es gelang jedoch nur, Tischler- und Dreher- sowie Schuhmacherberufe zu organisieren, und 1897 wurde die Schuhmacherwerkstatt aufgrund von Geldmangel geschlossen. Da die Mittel aus dem Kapital von Shvetsov nicht ausreichten, wandte sich die Schule 1895 an die Stadt um finanzielle Unterstützung. Das Schulgebäude wurde von der Mutter des Stifters, Varvara Jakovlevna Shvetsova, erbaut.

Ab September 1883 begannen die Arbeiten zur Umgestaltung des zweigeschossigen Steinganbauten, der zuvor als Wohnräume genutzt wurde, für die Bedürfnisse der Schule. Ende des folgenden Jahres wurde die Innenausstattung des Gebäudes abgeschlossen, in dem Werkstätten, Schlafräume für 20 Schüler und eine Küche untergebracht waren. 1887 wurde das angrenzende Gebäude fertiggestellt, da die Anzahl der Schüler auf 40 angestiegen war. Bald darauf wurden jedoch aufgrund sinkender Einnahmen aus den Läden auf dem Basarplatz das Untergeschoss und das erste Stockwerk des Gebäudes an die 2. Kirchliche Schule und für Stadtwachen vermietet.

Später wurde an die Schule von der Dvorjanskaja Straße aus ein zweigeschossiges Steingebäude angebaut, das von dem Provinzingenieur Kolodko entworfen wurde, mit einer Hauskirche im Namen des heiligen Nikolaus, die am 9. Mai 1895 geweiht wurde. Diese Kirche galt als eine der besten in der Stadt. Die Mittel für ihren Bau stellte V. J. Shvetsova zur Verfügung. Die Kirche befand sich im zweiten Stock, zu dem eine eiserne Treppe vom Haupteingang führte, die in der Fabrik von I. M. Lobanov hergestellt wurde. Der Parkettboden und der Altar aus Zypressenholz wurden von den Schülern der Schule gefertigt. Der geschnitzte Nussbaum-Ikonostase wurde vom Penza-Meister Davydov geschaffen, die Ikonen malte der Moskauer Künstler Safonov, und die Innenausstattung wurde von M. A. Rudkevich ausgeführt. Alle kirchlichen Utensilien wurden in Samara auf Kosten von V. J. Shvetsova erworben.

Am 1. Januar 1892 wurde im Gebäude der Schule eine Gemäldegalerie eröffnet, die der Stadt Penza vom ehemaligen Gouverneur N. D. Seliverstov vermacht wurde. Sie befand sich dort bis 1897, als sie in das Gebäude der Kunstschule verlegt wurde.