In der Gorki-Straße, neben dem alten Friedhof, befindet sich die Kirche Allerheiligen, deren Bau zu Beginn des 20. Jahrhunderts begann. Dies belegen die Daten, die im Inneren des Gebäudes erhalten geblieben sind. Die Mittel für den Bau stellte Michail Fjodorowitsch Saposchnikow, ein Ehrenbürger der Stadt und Kaufmann zweiter Gilde, zur Verfügung. Sein Handelsunternehmen zeichnete sich durch hohen Service und Ordnung aus. Saposchnikow spendete beträchtliche Summen für die Entwicklung der Stadt, wodurch Waisenhäuser, Gymnasien und das städtische Krankenhaus eröffnet wurden. Sein Sohn, Konstantin Michailowitsch, setzte das edle Werk des Vaters fort und vollendete den Bau der Kirche Allerheiligen. Die Nachkommen von Michail Fjodorowitsch leben noch heute in Gorochovets und besuchen die von ihrem Vorfahren errichtete Kirche.

Ursprünglich stand an dieser Stelle eine alte Holzkirche. Die neue Steinkirche umfasst das Hauptgebäude, die Sakristei und den Glockenturm. Sie wird von einer kugelförmigen Kuppel mit einem kleinen Haupt gekrönt. Die aus rotem Ziegel gebaute Kirche ist ein hervorragendes Beispiel für den russisch-byzantinischen Stil, mit einem voluminösen Hauptgebäude und stufenweise abfallenden Anbauten. Die Fassaden der Kirche sind reich verziert mit Bögen, Friesen, Gesimsen und Nischen.

Die Kirche Allerheiligen bewahrt das Andenken an die hier dienenden Geistlichen, wie den Priester Peter Gorbunov und den Protopriester Nikolai Aljakryansky. In der Nähe der Kirche, am Fuße des Puzhalova-Berges, befindet sich eine Kapelle an der Dreifaltigkeitsquelle, die der Legende nach entstand, nachdem eine riesige Figur eines russischen Helden auf dem Berg erschienen war, die die Armee des kasanischen Khans erschreckte.

In der Sowjetzeit wurde die Kirche geschlossen, aber 1994, nach einer umfassenden Renovierung, wurden hier wieder Gottesdienste abgehalten. Heute ist die Kirche Allerheiligen eine aktive Kirche, in der die Gottesdienste hauptsächlich an Feiertagen und Wochenenden stattfinden.