Холодный собор был возведен в 1798 году в честь Богоявления Господня, а придел, посвященный Федоровской иконе Божьей Матери, был создан в 1818 году купчихой К.С. Сторожевой из Любима. В теплом Крестовоздвиженском храме находятся три престола: в честь Воздвижения Честного Животворящего Креста Господня, святителя Николая Чудотворца и Иоанна Златоуста. Собору принадлежали две часовни, одна каменная и одна деревянная, расположенные на Троицкой торговой площади.

Основным элементом внешнего декора трапезной являются оконные наличники, выполненные в виде простой рамки с филенками над и под оконными проемами. Перед западным фасадом трапезной отдельно возвышается 35-метровая колокольня, представляющая собой восьмигранный столп на массивном кубическом основании, увенчанный шатром. С ее звонницы открывается вид на долины рек Обноры и Учи, а также на цепочку церквей города Любима, являющихся памятниками архитектуры XVIII и XIX веков.

Собор был окончательно закрыт, предположительно, в 1930 году. В его зданиях размещались хлебозавод, котельная и мастерская. В 1992 году холодный собор был возвращен церкви, и начались ремонтные работы. В 2016 году началось его возрождение.