Среди храмов Коврова Христорождественский собор является самым древним. Существует предание о его основании. По легенде, князь Андрей Боголюбский заблудился в этих местах накануне Рождества. Он возвращался из Суздаля в Стародуб и сбился с пути в лесу. День был снежный и морозный, и уже начинало темнеть, когда вдали он заметил слабый огонёк. Это была лучина в избушке охотника Елифана. Князь переночевал там, а на следующий день, в благодарность за своё спасение, велел построить в деревне церковь. Деревянный храм освятили в честь Рождества Христова, так как событие произошло накануне этого праздника.

В конце XVII века деревянную церковь заменили каменной. Изначально в храме было два престола: главный в честь Рождества Иисуса Христа и придельный во имя Макария Калязинского Чудотворца. Позже храм приобрёл икону Божией Матери "Смоленская", ставшую главной святыней собора. В честь этой иконы был устроен новый придел. По преданию, икону нашли чудом уцелевшей на пепелище сгоревшей деревянной церкви в селе Нестерово, в 7 верстах от Коврова. Считая её чудотворной, икону перенесли в Христорождественский храм.

В 1837 году в церкви присутствовали на молебне цесаревич Александр Николаевич, будущий император Александр II, и его наставник поэт В. А. Жуковский. Это было единственное посещение храма высокопоставленной особой. В 1870 году церковь расширили и она получила статус собора. К тому времени появились сторожка и ограда с воротами.

С 1920 по 1926 год собор служил кафедральным для Ковровского викария Владимирского архиепископа. Протоиерей Павел Авроров с 1922 года был уполномоченным от Владимирской епархии в Высшем Церковном Управлении, центральном органе обновленческого движения. Однако большинство верующих посещали Христорождественский собор, принадлежавший староцерковному направлению. В начале 1926 года в Коврове возникла независимая церковная община, противостоящая крайностям Тихоновской и обновленческой церквей. В результате конфликтов Христорождественский собор закрепили за староцерковной общиной, Спасо-Преображенский за обновленцами, а церковь Иоанна Воина за автокефалистами. В 1931 году власти закрыли Спасо-Преображенский собор, а в 1938 году, Христорождественский, разобрав венчания храма и колокольни. Церковь Иоанна Воина оставалась у обновленческой общины, но ненадолго. В 1945 году её также закрыли.

В 1946 году собор вновь открыли, восстановив венчания в упрощённой форме. Он был отреставрирован в конце 1980-х годов и оставался единственным действующим храмом в Коврове до 1991 года.