В 1779 году село Семеново стало уездным городом Семеновым в составе Нижегородского наместничества, а позже губернии. Для города был разработан генеральный план, который был утвержден 6 марта 1781 года. Основой планировки стал радиально-центрический подход, а центром композиции был выбран Вознесенский собор.

Согласно проекту 1781 года, главная площадь Семенова с каменным храмом в центре должна была быть окружена только каменными казенными зданиями, жилыми домами и торговыми лавками. В 1819 году на средства прихожан началось строительство каменного собора, который был освящен в 1821 году. Храм стал главным архитектурным центром города. По легенде, после производства кирпича для строительства собора осталась яма, которая заполнилась водой и превратилась в пруд, названный "соборным". В 1847 году сильный пожар нанес значительный ущерб Вознесенскому собору, но позже его отремонтировали, и в облике появились элементы византийской архитектуры. В 1887 году на колокольне собора установили городские часы с боем.

Храм представлял собой бесстолпный двусветный пятиглавый четверик с протяженной трапезной и колокольней с луковичным куполом. В трапезной находились Сретенский и Казанский приделы. Во второй половине XIX века собор имел большой приход: его посещали 2058 горожан и 1808 сельских жителей. В 1883 году рядом с собором построили краснокирпичную часовню, предназначенную для сбора пожертвований. Внутри часовни была ниша с металлической дверью, закрываемой на замок, с щелью для пожертвований. Собранные средства ежедневно изымались причетником собора.

В 1910-х годах к Вознесенскому собору были приписаны Всехсвятская кладбищенская церковь и старообрядческая Никольская церковь. В 1934 году собор закрыли, а в 1937 году его перестроили до неузнаваемости, превратив в Дом культуры. Декор был изменен в стиле конструктивизма, и появились новые пристройки.