На углу улиц Дворянской и Поперечно-Покровской находился двухэтажный дом, принадлежащий Марии Михайловне Киселевой, известной благотворительнице из Пензы. После того как ее усадьбу приобрело духовное ведомство для строительства нового здания Пензенской духовной семинарии, было решено разместить в этом доме образцовую школу, а также квартиры для учителя и духовника семинарии. Однако в 1896 году ректор семинарии обратился в Священный Синод с просьбой о превращении данного здания в его собственную квартиру, и в декабре того же года ему было дано разрешение на это.