Теплая церковь в честь Воздвижения Креста Господня является самой ранней из сохранившихся каменных построек монастыря. В 1735 году к ней добавили придел, посвященный Симеону и Анне, который в XVIII веке трижды переименовывали, пока в 1818 году не освятили во имя иконы Толгской Богоматери. В 1867 году в алтарной части храма появился придел во имя Александра Невского в память о чудесном спасении императора Александра Николаевича 4 апреля 1866 года. В 1815-1816 годах ярославский резчик Кузьма Гаврилов Столярев создал новый иконостас в мавританско-готическом стиле за 625 рублей, а Михаил Петров Столярев вызолотил его за 1350 рублей. В 1838 году церковь подверглась изменениям: окна были расширены, своды подняты, внутренние столбы убраны, а верхние участки храма украшены стенной росписью. В 1892 году церковь расписали масляными красками. Значительное каменное строительство в монастыре велось при игумене Гордиане, когда и сложился современный ансамбль обители.

После 1928 года в Крестовоздвиженском храме на втором этаже был устроен клуб с различными кружками, духовым оркестром и кукольным театром, а на первом этаже размещались кухня, общежитие и школа. В 1937 году для показа фильмов в клубе установили новую широкоформатную аппаратуру. Однако металлические стяжки, бросавшие тень на экран, мешали просмотру, и их срезали автогеном. Это привело к появлению трещин на потолке и стенах под давлением тяжелого купола. В 1960-х годах попытались восстановить стяжки, но они вскоре лопнули, что вызвало обрушение сводов. К 1970-м годам здание находилось в плачевном состоянии из-за варварской эксплуатации. Металлические конструкции, снижавшие нагрузку на стены, были срезаны, чтобы не мешать просмотру кино, которое считалось важнейшим искусством, гораздо важнее древнерусского зодчества. Храм около пятидесяти лет оставался непокрытым, и его восстановление казалось невозможным. Однако к 1999 году Крестовоздвиженская церковь была отреставрирована и 26 сентября того же года освящена архиепископом Ярославским и Ростовским Михеем.