В 1552 году в Каргополе произошёл пожар, после которого начал формироваться новый центр города, Соборная площадь. Строительство собора в честь Рождества Господа и Спаса нашего Иисуса Христа длилось десять лет, и в 1562 году его освятили. На месте собора ранее стояла деревянная церковь с тем же посвящением, и пожар лишь ускорил решение каргопольцев возвести каменный храм. Они не пожалели средств на это благочестивое дело и пригласили мастеров, предположительно, из Новгорода.

Так в Каргополе появился первый каменный храм, один из первых на Русском Севере. Христорождественский собор до сих пор остаётся малоизученным. Предположение о новгородском происхождении его строителей пока не подтверждено, но основано на поверхностном осмотре. Историк А. Г. Мельник отмечает, что смешанный тип кладки собора характерен для новгородского зодчества того времени. Архитектурные элементы памятника выполнены в новгородском стиле, а такие детали, как тонкие карнизы, срезанные углы алтарных столпов и оформление южного портала, указывают на руку новгородских мастеров. Однако эти мастера испытали влияние московской и среднерусской архитектуры.

В 1765 году в Каргополе случился ещё один пожар, известный как "великий". Огонь был настолько сильным, что, по словам очевидцев, "брёвна метало за реку". Деревянная застройка города выгорела полностью, пострадали и каменные здания, включая Христорождественский собор, у которого сгорели купола и были повреждены стены.

Собор простоял без ремонта пять лет, пока прихожане собирали средства на восстановление. Работы начались в 1770 году и завершились только через двадцать восемь лет, хотя главный престол был заново освящён уже в 1778 году. В ходе этого длительного ремонта собор приобрёл черты, сохранившиеся до наших дней.

В 1936 году собор был передан Каргопольскому историко-архитектурному и художественному музею-заповеднику. Сегодня его стены выкрашены в белый цвет, сохранился лишь небольшой фрагмент средневековых фресок на западной стороне. От икон осталось только то, что было установлено после 1765 года. Необычным элементом внешней конструкции является железная балка в виде руки, торчащая из центрального каменного барабана, к которой крепилась цепь для поддержания центрального паникадила (само паникадило исчезло при закрытии собора).

С течением времени здание собора погрузилось в землю почти на метр.