Смоленский собор был возведен на этом месте при необычных обстоятельствах. В начале XVIII века здесь находились восточные ворота Белгородской крепости, украшенные Смоленской иконой Божией Матери, как это было принято в то время. В октябре 1703 года часовой Мефодий Иванов заметил, как от иконы исходит огонь, который зажег свечу перед ним.

В память о чуде вскоре построили часовню, а через два года её заменила деревянная Смоленская церковь. В 1727 году здесь начали строительство каменного двухэтажного храма, который полностью освятили в 1763 году. Это было барочное здание с традиционным для барокко основным объемом в виде "восьмерика на четверике". Храм имел массивный, вытянутый двухэтажный основной объем, к которому примыкала овальная двухэтажная апсида. С запада к храму пристроили небольшую двухэтажную трапезную и четырёхъярусную колокольню. Такая композиция характерна для храмовой архитектуры Слободской Украины конца XVII века, хотя в белгородский памятник были внесены оригинальные черты.

В XIX веке храм подвергался перестройкам. Чертежи середины XIX века и фотографии начала XX века показывают поздний архитектурный вариант церкви, скрывший первоначальные формы и декор. В 1859 году храм значительно перестроили из-за обветшавших лестниц, ведущих в основное здание. Вместо них с запада пристроили новое помещение для лестницы, а фасад здания изменили в более сдержанном стиле, скрыв под штукатуркой следы первоначального декора.

В 1862 году произошла самая значительная перестройка Смоленской церкви по утверждённому проекту. С западной стороны была возведена пристройка с перекрытием над лестницей на второй этаж. Световой восьмерик, опирающийся на свод с подпружными арками, приобрел форму ротонды, а в сводах установили резонаторы звука.

В 1920-е годы храм разграбили. Хотя в нём размещались различные склады, молитвенная жизнь продолжалась. Однако 26 июня 1936 года было принято решение о закрытии многих церквей города, включая Смоленский храм.

Церковь, являвшаяся украшением дореволюционного Белгорода, в советское время дважды была на грани уничтожения. В 1943 году в результате артобстрела она лишилась колокольни и превратилась в руины. Попытки взорвать храм предпринимались в 1958 и 1974 годах, но он устоял. В 1958 году храм выдержал взрыв, а в 1974 году его спасла близлежащая школа, которая после взрыва оказалась в аварийном состоянии, что остановило дальнейшие разрушения.

Здание огородили забором, за которым образовалась свалка. В 1980-х годах началась реставрация с планами устроить там органный зал. Было вывезено 763 машины мусора. Последние сорок машин вывезли в июне 1996 года, за месяц до освящения. 11 июня храм был освящён Владыкой Белгородским и Старооскольским Иоанном. До этого, в Великий Четверг 1995 года, на вновь отстроенной колокольне впервые зазвонили колокола. В 1997 году обновили купола и кресты Смоленской церкви.