Das Alexandriner Waisenhaus in Penza, das zum Amt der Einrichtungen der Kaiserin Maria gehörte, wurde am 16. Mai 1845 eröffnet. Ursprünglich nahm es nur herkommende Kinder auf und befand sich in einem zweigeschossigen Steinhaus in der Lekarskaja-Straße, das am 14. Februar 1845 erworben wurde. Bald wurde das Gebäude jedoch zu klein und baufällig, weshalb es am 18. Juni 1848 verkauft wurde, und das Waisenhaus in angemietete Räumlichkeiten umzog. Zunächst wurden im Waisenhaus 20 Jungen und 20 Mädchen unterrichtet, die kostenlose Frühstücke, Mittagessen und Nachmittagsimbisse erhielten und Grundkenntnisse in Lesen und Schreiben erlernten. 1850 wurde eine Übernachtungsabteilung für 12 Mädchen eröffnet, die jedoch sechs Jahre später nach dem Tod der Aufseherin, Frau Arapowa, geschlossen wurde. Erst 20 Jahre später kamen Mädchen in das Waisenhaus, die voll versorgt wurden. Die soziale Zusammensetzung der Kinder war vielfältig, hauptsächlich handelte es sich um Waisen aus bürgerlichen, Soldaten- und Bauernfamilien, und nur die Mädchen lernten Handarbeiten.

Im Jahr 1897 wurde im Waisenhaus eine Schule eingerichtet, die den städtischen Gemeindeschulen ähnelte. In demselben Jahr stellte W. J. Schwettsowa dem Waisenhaus ihr geräumiges Haus in der Dworjanskaja-Straße zur Verfügung. Zu diesem Zeitpunkt befanden sich etwa 100 Mädchen im Waisenhaus, von denen mehr als die Hälfte herkommend war. 1900 wurde das gesamte Anwesen von W. J. Schwettsowa in der Dworjanskaja-Straße, das sich in der Nähe der Handwerkerschule von F. E. Schwettsow befand, dem Alexandriner Waisenhaus übertragen. Dieses Anwesen, wie auch das Eckhaus, gehörte zuvor dem Kaufmann F. E. Schwettsow, der es 1874 von der Oberst Vera Shtork erhielt und teilweise an die Lehrerseminar vermietete. Am 17. September 1901 fand im umgebauten Gebäude des Anwesens ein Gottesdienst mit Wasserweihe zur Eröffnung des Schuljahres statt. Die Bedingungen für die Kinder waren ausgezeichnet: An das Haus wurden Räume für Handarbeiten und eine Werkstatt angebaut, es gab einen separaten Spielraum, zwei geräumige Klassenzimmer, eine Mensa für 100 Personen, eine Küche, eine Waschküche, ein Schlafzimmer mit 40 Betten und ein Bad. Das Gebäude verfügte über Wasserleitungen.

Das Haus mit dem Mezzanin, das sich im hinteren Teil des Hofes befand, wurde vermietet. Zu Beginn des 20. Jahrhunderts lebte dort der bekannte Chordirigent Alexei Wasiljewitsch Kastorski, der 1902 die Kirchen- und Gesangsgesellschaft in Penza leitete und Kurse für Chorgesang mit einem Vorzeigekorps einrichtete, an dem bis zu 500 Personen teilnahmen. Nach der Revolution wurde er Vorsitzender des Rates und des Exekutivkomitees der Volkskonservatoriums, das auf der Basis der Musikschule gegründet wurde. Später zog der Künstler Ivan Silowitsch Goryushkin-Sorokopudov in das Waisenhaus ein, der dort bis 1918 lebte. Er war Schüler von I. E. Repin und arbeitete ein halbes Jahrhundert an der Penza Kunstschule, hinterließ ein bedeutendes Erbe, von dem der größte Teil in der Penza Kunstgalerie aufbewahrt wird. Das reich verzierte Gebäude war nicht nur ein historisches Denkmal, sondern auch eines der besten Beispiele für Holzarchitektur in Penza. Es brannte während der Restaurierung in den 1980er Jahren nieder.