Die architektonische Perle des Basarplatzes war nicht nur das Fischhaus. Die Petropawlowskij Kirche, die früher an der Stelle des heutigen Hauses 86 in der Moskauer Straße stand, war ebenfalls ein herausragendes Beispiel steinernen Bauens. Erbaut im Jahr 1797 mit Mitteln des Penzauer Bürgermeisters und Kaufmanns Michail Otschkin, wurde sie zur Hauptpfarrkirche der Nowodragunskaja Siedlung und einer der reichsten Kirchen der Stadt. Die vergoldeten Ikonostasen und die Wandmalereien, die auf Bestellung angefertigt wurden, waren wahre Kunstwerke. Es ist nicht verwunderlich, dass Alexander I. während seines Besuchs in Penza nicht nur die Spasski-Kathedrale, sondern auch diesen Tempel besuchte. Zur Erinnerung an dieses denkwürdige Ereignis stellten die Geistlichen in der Kirche ein Ikone des heiligen, glorreichen Fürsten Alexander Newski mit der Inschrift über den Besuch des Kaisers auf. An der Kirche wirkte der beste Kirchenchor in Penza unter der Leitung von Alexei Wasiljewitsch Kastorski, der einer der Gründer der Kirchen- und Gesangsgesellschaft war und die Kurse für Chorgesang organisierte, wo ein Chor mit bis zu 500 Sängern auftrat. Die Petropawlowskij Kirche war praktisch der einzige saubere Ort auf dem Basarplatz, sie wurde ebenso sorgfältig gereinigt wie die Residenz des Gouverneurs. Doch die ruhmreiche Geschichte des Tempels endete 1931, als sie geschlossen und dann abgerissen wurde. In den 1950er Jahren wurde an dieser Stelle ein fünfstöckiges Wohnhaus gebaut, das teilweise auf dem ehemaligen Friedhof steht. Hier befand sich früher eine Kapelle, in der 1914 der Pfarrer der Kirche, Protopresbyter Fjodor Bystrjow, beigesetzt wurde.