К середине XIX века деревянная церковь Рождества Богородицы на кладбище уже не удовлетворяла потребности верующих северо-западной части Семенова. Прихожане решили построить здесь большую каменную церковь. Инициатором строительства стал протоирей Вознесенского собора Иоанн Иоаннович Райковский. Благодаря его усилиям перед городской думой Семенова была выделена дополнительная земля рядом с кладбищем для строительства храма. Вместе с городским главой И.А. Бочкаревым 17 августа 1856 года был составлен акт освидетельствования места для новой церкви.

В марте 1859 года епископ Антоний дал благословение на строительство церкви во имя Всех Святых. К 1863 году была завершена кирпичная кладка церкви, за исключением небольшой части колокольни. Церковь строилась по проекту, близкому к образцовым, в русско-византийском стиле. Храм представлял собой одноглавый четверик с трапезной, связанной с колокольней под луковичным куполом. В 1864 году начались отделочные работы внутри храма. С мая того же года обустраивались приделы в трапезной: правый в честь благоверного князя Александра Невского и левый в честь Святого Великомученика Георгия. Освящение правого придела состоялось 3 октября 1866 года, а левого, 9 июня 1867 года. В 1867 году завершили кладку каменной колокольни. В 1875 году храм украсили иконами и установили иконостас. В 1883 году церковь пострадала от пожара. Каменная ограда вокруг церкви и кладбища была построена в 1904 году.

В 1930-х годах храм закрыли, а его купола были разрушены. Долгое время здание использовалось как водокачка. В начале 1990-х годов церковь была возвращена в собственность Русской Православной церкви.