En la esquina de las calles Dvoryanskaya y Poperechno-Pokrovskaya se encontraba una casa de dos pisos, perteneciente a Maria Mikhailovna Kiseleva, conocida benefactora de Penza. Después de que su finca fue adquirida por el departamento espiritual para la construcción de un nuevo edificio del seminario espiritual de Penza, se decidió ubicar en esta casa una escuela modelo, así como apartamentos para el maestro y el espiritual del seminario. Sin embargo, en 1896, el rector del seminario se dirigió al Santo Sínodo con la solicitud de convertir este edificio en su propio apartamento, y en diciembre del mismo año se le otorgó permiso para ello.