Архитектурной жемчужиной Базарной площади была не только Рыбный корпус. Петропавловская церковь, находившаяся ранее на месте современного 86-го дома на улице Московской, также являлась выдающимся примером каменного зодчества. Построенная в 1797 году на средства пензенского бургомистра и купца Михаила Очкина, она стала главной приходской церковью Новодрагунской слободы и одним из самых богатых храмов города. Позолоченные иконостасы и настенная живопись, выполненные на заказ, были настоящими произведениями искусства. Неудивительно, что во время визита в Пензу Александр I посетил не только Спасский кафедральный собор, но и этот храм. В память об этом знаменательном событии священнослужители установили в церкви икону Святого благоверного князя Александра Невского с надписью о визите императора. При церкви действовал лучший в Пензе церковный хор под управлением Алексея Васильевича Касторского, который был одним из основателей церковно-певческого общества и организатором курсов хорового пения, где выступал хор численностью до 500 человек. Петропавловская церковь была практически единственным чистым местом на Базарной площади, её убирали так же тщательно, как резиденцию губернатора. Однако славная история храма завершилась в 1931 году, когда его закрыли и затем снесли. В 1950-х годах на этом месте построили пятиэтажный жилой дом, который частично стоит на бывшем кладбище. Здесь ранее находилась часовня, где в 1914 году был похоронен настоятель церкви протоиерей Фёдор Быстров.