À Penza, en 1980, un complexe mémorial a été créé, représentant une composition historique « Le rempart de Penza du XVIIe siècle ». Le complexe comprend un clocher, à la base duquel est installée une véritable mortière en fonte, une pièce d'artillerie à canon court, ressemblant à un canon. On peut également y voir une plaque commémorative avec l'année de fondation de Penza et une palissade de forteresse partiellement restaurée. Le tout est situé sur les vestiges du rempart en terre de la forteresse, conservé depuis la fondation de la ville.

Au XVIIe siècle, à cet endroit se trouvait une forteresse en bois, protégeant les frontières de l'État russe des attaques des nomades des steppes. Le rempart faisait partie des structures défensives. Au sommet du rempart en terre passait un mur fait de troncs d'arbres aiguisés, et aux angles se trouvaient des tours de guet et de surveillance. Le rempart a servi à protéger la forteresse jusqu'au premier tiers du XVIIIe siècle. Devant le rempart, un fossé a été creusé, rempli d'eau et garni de pieux pointus, au fond duquel étaient éparpillées des pointes de fer, blessant les jambes des chevaux ennemis.

Lors du pogrom de Kouban, toutes les forteresses sur le sol de Penza ont été détruites, et leurs défenseurs massacrés. Cependant, la forteresse de Penza a résisté grâce à sa position et au courage de la garnison, armée de canons et de mousquets.

Les défenseurs de la forteresse espéraient une aide divine. Au centre de la forteresse, dans le temple, ils priaient devant l'icône de la Vierge Marie. Le visage de l'icône avait noirci, mais le matin, lorsque les prêtres ont porté l'icône sur le rempart de la ville, il s'est éclairci, insufflant foi et espoir dans le cœur des défenseurs. Les Cosaques capturés racontaient avoir vu sur le rempart une vierge enflammée, entourée de rayons brillants, comme des épées de feu. Éblouis, les Cosaques, se battant entre eux, se sont retirés de la ville.