Крестовоздвиженский собор с приделами, посвящёнными Казанской иконе Божией Матери и Святителю Иоанну Златоусту, является частью Успенского Брусенского женского монастыря. Он был построен к 300-летию монастыря по инициативе игуменьи Олимпиады, которая возглавляла монастырь с 1848 по 1873 год. Строительство началось в 1855 году, а освящение состоялось в 1858 году. Архитектор А.С. Кутепов разработал первоначальный проект в 1850 году, однако департамент проектов и смет признал его неудовлетворительным из-за фасадов. В том же году был принят проект В.Е. Моргана, который переработал фасады, оставив план без изменений. Этот проект был реализован с некоторыми изменениями.

Архитектурно храм сочетает элементы классицизма и псевдо-русского стиля. Он представляет собой пятиглавую шатровую конструкцию, где четыре купола глухие, а центральный пятый световой. Фасад, выполненный в духе XVII века, разделён парными полуколоннами на прясла. Основной декоративный мотив, наличники, имитирующие московское барокко. Архитектура здания подчёркнуто декоративна, с контрастом красного кирпича и белокаменных деталей. В западном притворе находились хоры.

В 1920-е годы, после закрытия монастыря, с собора сняли барабаны и купола. В советское время считалось, что поздние постройки, включая Воздвиженский собор, не представляют значительного художественного интереса, и здание использовалось как склад. Восстановление храма началось в начале XXI века, когда Брусенская обитель вновь получила статус монастыря.