L'orphelinat Alexandrin à Penza, qui faisait partie de l'Administration des institutions de l'impératrice Maria, a ouvert ses portes le 16 mai 1845. À l'origine, il accueillait uniquement des enfants de passage et était situé dans une maison en pierre de deux étages sur la rue Lekarskaya, acquise le 14 février 1845. Cependant, rapidement, le bâtiment est devenu trop petit et vétuste, c'est pourquoi il a été vendu le 18 juin 1848, après quoi l'orphelinat a déménagé dans des locaux loués. Au début, l'orphelinat accueillait 20 garçons et 20 filles, qui recevaient des petits déjeuners, déjeuners et goûters gratuits, et étudiaient l'alphabet. En 1850, un service de nuit pour 12 filles a été ouvert, mais il a été fermé six ans plus tard après la mort de la bienfaitrice, Madame Arapova. Ce n'est que 20 ans plus tard que des filles ont été accueillies à plein temps. La composition sociale des enfants était variée, mais principalement composée d'orphelins issus de familles de bourgeois, de soldats et de paysans, et seules les filles apprenaient l'artisanat.

En 1897, une école a été organisée à l'orphelinat, similaire aux écoles paroissiales urbaines. La même année, V. Ya. Shvetsova a offert sa maison spacieuse à l'orphelinat sur la rue Dvoryanskaya. À ce moment-là, environ 100 filles se trouvaient à l'orphelinat, dont plus de la moitié étaient de passage. En 1900, l'orphelinat Alexandrin a reçu l'ensemble de la propriété de V. Ya. Shvetsova sur la rue Dvoryanskaya, située à proximité de l'école de métiers nommée d'après F. E. Shvetsov. Cette propriété, tout comme l'angle, appartenait auparavant au marchand F. E. Shvetsov, qui l'avait reçue en 1874 de la colonelle Vera Shtorkh et l'avait partiellement louée à un séminaire d'enseignants. Le 17 septembre 1901, un service de prière avec bénédiction de l'eau a eu lieu dans le bâtiment rénové de la propriété pour marquer le début des cours. Les conditions pour les enfants étaient excellentes : des locaux pour l'artisanat et un atelier ont été ajoutés à la maison, il y avait une salle de jeux séparée, deux salles de classe spacieuses, une cantine pour 100 personnes, une cuisine, une buanderie, une chambre à coucher pour 40 lits et un bain. Le bâtiment était équipé d'eau courante.

La maison avec un mezzanine, située au fond de la cour, était louée. Au début des années 1900, elle était habitée par le célèbre chef de chœur Alexeï Vassilievitch Kastorski, qui a dirigé la Société de chant ecclésiastique à Penza en 1902 et a créé des cours de chant choral avec un chœur démonstratif, auquel participaient jusqu'à 500 personnes. Après la révolution, il est devenu président du conseil et du comité exécutif du Conservatoire populaire, fondé sur la base de l'école de musique. Ensuite, un artiste, Ivan Silovich Goryushkin-Sorokopudov, s'est installé dans la maison de l'orphelinat, y vivant jusqu'en 1918. Élève d'I. E. Repin, il a travaillé à l'école des beaux-arts de Penza pendant un demi-siècle, laissant un héritage significatif, dont une grande partie est conservée à la galerie d'art de Penza. Richement décoré de sculptures, le bâtiment était non seulement un monument historique, mais aussi l'un des meilleurs exemples d'architecture en bois à Penza. Il a brûlé lors de la restauration dans les années 1980.