Храм был построен в 1818 году на средства купца Ивана Никитича Барыкова. Проект разработал известный русский архитектор Авраам Иванович Мельников, который также проектировал Спасо-Преображенский собор в Рыбинске, Императорское училище правоведения в Санкт-Петербурге и Потемкинскую лестницу в Одессе.

В храме было три престола: главный, посвященный Воздвижению Креста Господня, и два в теплой трапезной, во имя Святых жен-мироносиц и Святого великомученика Никиты. Благодаря богатому внутреннему убранству и значительной вместимости, превышающей старый городской собор, Крестовоздвиженская церковь выполняла функции соборной до 40-х годов XIX века, пока не был завершен новый собор во имя святителя Николая Чудотворца.

С 23 по 25 января 1826 года в храме находилось тело императора Александра I, которое перевозили из Таганрога в Санкт-Петербург. В память об этом событии члены царской семьи подарили храму паникадило, а внутри была установлена памятная доска. А. А. Фет описал свои детские впечатления о царских похоронах в произведении «Ранние годы моей жизни».

В 1897 году храм капитально отремонтировали в последний раз. С 1899 года при нем начала работать церковно-приходская школа, размещенная в отдельном деревянном здании.

Церковь закрыли в 1930 году. Во время войны авиабомба разрушила своды трапезной. В 1960 году здание взяли под охрану государства, но городские власти все же пытались добиться его сноса, ссылаясь на ветхость. К счастью, храм удалось сохранить.

23 февраля 1973 года обрушился шпиль колокольни. С 1976 года в храме периодически проводились реставрационные работы, которые полностью прекратились к началу 90-х годов.

В 1999 году храм передали православной общине. Восстановительные работы сначала финансировались приходом Свято-Троицкого храма в Мценске. В том же году в храме возобновились регулярные богослужения, первая Божественная литургия была отслужена в праздник Введения во храм Пресвятой Богородицы.

В настоящее время храм продолжает реставрироваться, и в нем проводятся богослужения.

С 2006 года при храме действует Воскресная школа, где обучаются около 15 детей в возрасте от 5 до 13 лет. Занятия проходят по воскресеньям с 11 до 14 часов. Дети изучают основы православной культуры и занимаются рукоделием. В дни каникул для них организуются паломничества, экскурсии и походы.