Александринский детский приют в Пензе, входивший в Ведомство учреждений императрицы Марии, открылся 16 мая 1845 года. Изначально он принимал только приходящих детей и располагался в двухэтажном каменном доме на улице Лекарской, приобретенном 14 февраля 1845 года. Однако вскоре здание стало тесным и ветхим, поэтому его продали 18 июня 1848 года, после чего приют переехал в арендованное помещение. Вначале в приюте обучались 20 мальчиков и 20 девочек, которые получали бесплатные завтраки, обеды и полдники, а также изучали начальную грамоту. В 1850 году было открыто ночлежное отделение для 12 девочек, но через шесть лет его закрыли после смерти попечительницы, госпожи Араповой. Лишь спустя 20 лет в приюте появились девочки на полном содержании. Социальный состав детей был разнообразным, но в основном это были сироты из семей мещан, солдат и крестьян, и только девочки обучались рукоделию.

В 1897 году при приюте была организована школа, аналогичная городским приходским школам. В этом же году В. Я. Швецова предоставила приюту свой просторный дом на улице Дворянской. К этому времени в приюте находилось около 100 девочек, из которых более половины были приходящими. В 1900 году Александринскому приюту передали всю усадьбу В. Я. Швецовой на улице Дворянской, расположенную рядом с ремесленной школой им. Ф. Е. Швецова. Эта усадьба, как и угловая, ранее принадлежала купцу Ф. Е. Швецову, который получил ее в 1874 году от полковницы Веры Шторх и частично сдал учительской семинарии. 17 сентября 1901 года в перестроенном здании усадьбы состоялся молебен с водосвятием в честь начала учебных занятий. Условия для детей были отличными: к дому пристроили помещения для рукоделия и мастерской, была отдельная игровая комната, две просторные классные комнаты, столовая на 100 человек, кухня, прачечная, спальня на 40 кроватей и баня. Здание имело водопровод.

Дом с мезонином, находящийся в глубине двора, сдавался в аренду. В начале 1900-х годов в нем жил известный хоровой дирижер Алексей Васильевич Касторский, который возглавил Церковно-певческое общество в Пензе в 1902 году и создал курсы хорового пения с показательным хором, в котором участвовало до 500 человек. После революции он стал председателем совета и исполкома Народной консерватории, основанной на базе музыкального училища. Затем в доме приюта поселился художник Иван Силович Горюшкин-Сорокопудов, проживший там до 1918 года. Ученик И. Е. Репина, он проработал в Пензенском художественном училище полвека, оставив значительное наследие, большая часть которого хранится в Пензенской картинной галерее. Богато украшенное резьбой, здание было не только историческим памятником, но и одним из лучших образцов деревянной архитектуры в Пензе. Оно сгорело в ходе реставрации в 1980-х годах.