На улице Горького, рядом со старым кладбищем, находится храм Всех Святых, строительство которого началось в начале XX века. Об этом свидетельствуют даты, сохранившиеся внутри здания. Средства на строительство выделил Михаил Федорович Сапожников, почетный гражданин города и купец второй гильдии. Его торговое дело отличалось высоким уровнем обслуживания и порядком. Сапожников жертвовал значительные суммы на развитие города, благодаря чему были открыты богадельни, гимназии и городская больница. Его сын, Константин Михайлович, продолжил благородное дело отца и завершил строительство храма Всех Святых. Потомки Михаила Федоровича до сих пор живут в Гороховце и посещают церковь, построенную их предком.

Изначально на этом месте стояла старая деревянная церковь. Новый каменный храм включал основной объем, трапезную и колокольню. Его венчает сферический купол с небольшой главкой. Храм, построенный из красного кирпича, является прекрасным примером русско-византийского стиля, с объемным основным зданием и ступенчатым понижением пристроек. Фасады церкви богато украшены арками, фризами, карнизами и нишами.

Храм Всех Святых хранит память о священнослужителях, служивших здесь, таких как иерей Петр Горбунов и протоиерей Николай Алякрянский. Недалеко от храма, у подножия Пужаловой горы, находится часовня на Троицком источнике, который, по преданию, появился после того, как на горе возникла огромная фигура русского богатыря, напугавшая войско казанского хана.

В советское время храм был закрыт, но в 1994 году, после капитального ремонта, здесь вновь начали проводить службы. Сегодня церковь Всех Святых является действующим храмом, где богослужения проходят в основном в праздничные и выходные дни.