Sur les rues Maïakovski, Parkhomenko et Lagernaïa se trouvent maintenant des immeubles résidentiels, mais ils ont été construits sur l'ancien terrain du cimetière. Depuis la fin du XVIIIe siècle, le cimetière de Tous les Saints était situé ici, et il a ensuite été détruit. Le nécropole se trouvait en dehors de la ville, près du village de Grafovka, et la première inhumation a eu lieu en 1796. Ce cimetière est devenu l'un des principaux de la ville, une partie de son territoire étant considérée comme élitiste. Ici reposent le directeur de la succursale de la Banque d'État de Penza, Bekman, l'architecte Rudkevich, les marchands Ochkine et bien d'autres. En 1817, une église de Tous les Saints a été construite à côté du cimetière, où les défunts étaient célébrés. Les enterrements dans ce cimetière ont continué pendant près de 100 ans, jusqu'à ce qu'au début du XXe siècle, la douma municipale soulève la question de sa fermeture. Au cours d'un siècle, le nécropole s'est considérablement agrandi, et les tombes se sont rapprochées de la rive droite de la Soura, ce qui a entraîné l'érosion des terres et la chute des cercueils dans l'eau. Ce spectacle a choqué les habitants et les visiteurs de Penza. En 1903, le cimetière a été définitivement fermé. Près de 30 ans plus tard, déjà sous le régime soviétique, l'église de Tous les Saints a été fermée, puis le cimetière lui-même. Toutes les tombes ont été nivelées. Il existe une opinion selon laquelle les fosses affaissées à cet endroit, anciennes inhumations, et des rumeurs circulent selon lesquelles l'eau continue d'emporter des os.