Соборную площадь с востока ограничивала улица, известная как Линия присутственных мест, ныне называемая улицей Белинского. Здесь располагались государственные учреждения, включая Первый и Второй корпуса присутственных мест, возведенные в 1780-х и 1790-х годах по единому проекту. Между ними находились здания казначейства и главной гауптвахты, которая в 1901 году была передана Пензенской ученой архивной комиссии.

Виссарион Григорьевич Белинский родился в Свеаборге, но его настоящей родиной считается город Чембар (ныне Белинский) в Пензенской губернии. В августе 1825 года он прибыл в губернский город, успешно сдал вступительные экзамены и был зачислен в первый класс гимназии, расположенной на углу улиц Никольской (ныне К. Маркса) и Троицкой (ныне Кирова).

В конце 1828 года Белинский вернулся в Чембар, а в начале следующего года был исключен из гимназии за пропуски занятий. Таким образом, он провел в Пензе три года, которые стали временем активной умственной работы, интенсивного чтения и посещения театра.