El orfanato Alexandrino en Penza, que formaba parte de la Administración de Instituciones de la Emperatriz María, se inauguró el 16 de mayo de 1845. Inicialmente, solo aceptaba a niños que llegaban y estaba ubicado en una casa de piedra de dos pisos en la calle Lekarskaya, adquirida el 14 de febrero de 1845. Sin embargo, pronto el edificio se volvió pequeño y deteriorado, por lo que se vendió el 18 de junio de 1848, tras lo cual el orfanato se mudó a un local alquilado. Al principio, en el orfanato se educaban 20 niños y 20 niñas, quienes recibían desayunos, almuerzos y meriendas gratuitos, además de estudiar lectura y escritura básica. En 1850 se abrió un departamento de albergue para 12 niñas, pero se cerró seis años después tras la muerte de la benefactora, la señora Arapova. Solo 20 años después, el orfanato recibió a niñas con manutención completa. La composición social de los niños era diversa, pero en su mayoría eran huérfanos de familias de comerciantes, soldados y campesinos, y solo las niñas aprendían labores manuales.

En 1897 se organizó una escuela en el orfanato, similar a las escuelas parroquiales de la ciudad. Ese mismo año, V. Ya. Shvetsova ofreció al orfanato su espaciosa casa en la calle Dvoryanskaya. Para entonces, había alrededor de 100 niñas en el orfanato, de las cuales más de la mitad eran externas. En 1900, el orfanato Alexandrino recibió toda la propiedad de V. Ya. Shvetsova en la calle Dvoryanskaya, ubicada cerca de la escuela de oficios F. E. Shvetsova. Esta propiedad, al igual que la de la esquina, había pertenecido anteriormente al comerciante F. E. Shvetsov, quien la recibió en 1874 de la coronel Vera Shtorkh y la alquiló parcialmente a la seminario docente. El 17 de septiembre de 1901, en el edificio remodelado de la propiedad, se celebró un servicio de oración con bendición de agua en honor al inicio de las clases. Las condiciones para los niños eran excelentes: se añadieron espacios para labores manuales y un taller, había una sala de juegos separada, dos amplias aulas, un comedor para 100 personas, cocina, lavandería, dormitorio con 40 camas y baño. El edificio contaba con agua corriente.

La casa con altillo, situada al fondo del patio, se alquilaba. A principios de 1900, en ella vivía el conocido director de coro Alexei Vasilyevich Kastorsky, quien encabezó la Sociedad de Canto de la Iglesia en Penza en 1902 y creó cursos de canto coral con un coro de demostración que contaba con hasta 500 participantes. Tras la revolución, se convirtió en presidente del consejo y del comité ejecutivo de la Conservatorio Popular, fundado sobre la base de la escuela de música. Luego, en la casa del orfanato se instaló el artista Ivan Silovich Goryushkin-Sorokopudov, quien vivió allí hasta 1918. Alumno de I. E. Repin, trabajó en la escuela de arte de Penza durante medio siglo, dejando un legado significativo, gran parte del cual se conserva en la Galería de Arte de Penza. Ricamente decorado con tallas, el edificio no solo era un monumento histórico, sino también uno de los mejores ejemplos de arquitectura de madera en Penza. Se incendió durante la restauración en la década de 1980.