Собор Казанской иконы Божией Матери был возведен в центре двора Ярославского Казанского женского монастыря в период с 1835 по 1845 годы. Он занял место старой Казанской церкви, которая была снесена из-за ветхости. Строительство велось на пожертвования по проекту архитектора Авраама Ивановича Мельникова в стиле позднего классицизма. Основные работы проходили с 1835 по 1838 год под наблюдением губернского архитектора Петра Яковлевича Панькова. При возведении собора использовали кирпич от разобранной теплой церкви упраздненного Борисоглебского прихода.

Здание собора выполнено в позднеклассических формах. Колонны и полуколонны украшают входы, простенки между окнами и главы, которые имеют форму восьмиугольных башен. В 1840 году собор расписала артель Т. Медведева, и он был оснащен трехъярусным резным иконостасом. Освящение храма состоялось в 1845 году.

В мае 1837 года монастырь посетил цесаревич Александр Николаевич, будущий император Александр II. В июле 1892 года в соборе сослужил архиепископу Ярославскому и Ростовскому Иоанафану святой праведный Иоанн Крондштадтский. В 1910 году, в дни празднования 300-летия монастыря, торжественное богослужение возглавлял архиепископ Ярославский и Ростовский Тихон, который позже стал Патриархом Московским и Всея Руси. В октябре 1916 года в соборе служил архиепископ Ярославский и Ростовский Агафангел, будущий патриарший местоблюститель.

После июльского белогвардейского мятежа 1918 года монастырь был упразднен, имущество изъято, а монахини переведены в Толгский монастырь. С 1919 по 1922 год на территории монастыря действовал концентрационный лагерь. В 1928 году в соборе было сооружено железобетонное перекрытие для второго этажа, где разместился Государственный архив Ярославской области. Главы и кресты храмов были сброшены, колокольню разрушили.

В начале 1990-х годов Казанский собор, еще не возвращенный Церкви, постепенно получил пять золоченых глав. В 1997 году богослужения возобновились, и собор стал приходским храмом. В 1998 году монастырь был вновь открыт, а в 1999 году архив переведен в Рыбинск, освободив собор. Началась его реконструкция, поддержанная ОАО «Ярославский технический углерод» и его генеральным директором Вадимом Юрьевичем Орловым. Были разобраны железобетонные перекрытия, восстановлены стены, сделан мраморный пол и устроен иконостас. Роспись алтаря выполнили ярославские художники Александр Сериков, Михаил Кирильчев и Алексей Смирнов, отмеченные областной премией.

В 2000-е годы, пока строился Успенский собор, Казанский собор временно выполнял роль кафедрального, где архиепископ Ярославский и Ростовский Кирилл Наконечный проводил основные службы.

В Казанском соборе хранятся список чудотворной иконы Божией Матери Казанской и саркофаг с мощами святителя Агафангела. Здесь также создан небольшой музей, посвященный жизни и служению архиепископа Ярославского и Ростовского Михея.