Каменный храм, посвящённый Воздвижению Честного Креста Господня, с колокольней и оградой, был возведён в 1849 году на средства прихожан из Хвалынска и купца из Рыбинска Михаила Александровича Григорьевского. Проект разработал губернский архитектор Григорий Васильевич Петров. В росписи храма участвовал известный художник Кузьма Сергеевич Петров-Водкин, который венчался в этой церкви с Марой Йованович. В 1910 году храм украсило Распятие Господне, созданное его кистью.

Весной 1931 года колокола церкви сняли и отправили на переплавку, а само здание, по решению горсовета, закрыли и передали под клуб союзу пищевиков. В 1936 году в храме разместили зернохранилище, которое использовалось с перерывами до конца Великой Отечественной войны. В 1937 году верующим удалось временно возобновить богослужения. В 1946 году здание разобрали на стройматериалы. В 1947 году епископ Саратовский и Вольский Борис Вик освятил восстанавливаемый храм в честь Воздвижения Честного и Животворящего Креста Господня в память о старой Крестовоздвиженской церкви, разобранной на кирпичи. Это произошло в здании Покровского храма, построенного в 1906-1914 годах хвалынскими старообрядцами.

Согласно постановлению Саратовской областной Думы от 17 ноября 1994 года, здание храма признано объектом историко-культурного наследия. В 2003 году, благодаря поддержке депутата Государственной Думы Вячеслава Викторовича Володина, храм получил финансирование из федерального бюджета в рамках программы сохранения памятников культурного наследия. К храму также относится часовня на кладбище города Хвалынска.