Пятиглавый каменный храм был возведен в 1675 году на месте более старой церкви, а его главный престол, посвященный Воздвижению Честного и Животворящего Креста Господня, освятили в 1688 году. В южной части алтаря находился придел Казанской иконы Божией Матери, освященный 27 июля 1690 года. С 10 июня 1734 года по 19 июня 1735 года храм был украшен фресками, созданными ярославскими художниками под руководством знаменщика Алексея Иванова Соплякова на средства прихожан купцов Викулиных. В артель входили мастера, такие как Иван Никитин Горин с братом Иваном, Андрей Емельянов Шустов с детьми Афанасием и Иваном, Алексей Сергеев и другие. Некоторые росписи сохранились под побелкой.

В период с 1860 по 1865 годы в храме проводились обширные ремонтно-восстановительные работы. Были обновлены стенописи и иконы, позолочены иконостасы в главном алтаре и Казанском приделе, а также устроена паперть с западной стороны. Эти работы финансировались купцами Крохоняткиными и Константиновыми.

В 1722 году к югу от летнего храма была построена теплая одноглавая церковь с трапезной, посвященная Святым Бессребреникам Косме и Дамиану. В южной части ее алтаря был устроен придел в честь преподобных Онуфрия Великого и Петра Афонского. В 1842 году в теплой церкви установили новый алтарный иконостас по проекту местного прихожанина Ивана Алексеева, финансируемый купцом Федором Кожуховым и мещанином Семеном Чарышниковым. В 1843 году церковь и алтарь были украшены стенной живописью, выполненной ярославским мещанином Федором Ивановым Телегиным на средства купцов Крохоняткиных. В 1869 году стенопись обновили, а иконостас заново позолотили.

Обе церкви были окружены каменной оградой длиной 164 сажени. К западу от холодного храма находилась трехъярусная шатровая колокольня, время постройки и сноса которой неизвестно. На ней были установлены «часы железные, устроенные на немецкий манер» и 8 колоколов, весом от 284 пудов до 2 пудов 5 фунтов.

Церковь была закрыта в 1930 году, и оба здания были переданы строительной организации, что привело к их искажению. В начале 2010-х годов храмы были возвращены Ярославской епархии. Для их восстановления в прежнем великолепии потребуется проведение сложных и дорогостоящих реставрационных работ.