Каменный храм в Алексеевке был возведён в 1813 году и освящён епископом Антонием в честь святителя Димитрия Ростовского, чудотворца, с приделом, посвящённым Казанской иконе Божией Матери.

Церковь выполнена в стиле классицизма, характерном для того времени. Массивные пилястры украшают все притворы и алтарный выступ. Под треугольным фронтоном расположены арочные наличники полуциркульных окон, остальные окна имеют прямоугольную форму. Световой цилиндрический барабан над центральной частью храма покрыт полусферой, увенчанной изысканной главой с маковкой. Колокольня храма одноярусная и завершается уникальным воронкообразным шпилем.

К 1886 году в церкви служили два штатных клира, и ей принадлежало 39 десятин земли. В приход входили не только слобода, но и хутора Гречаников, Игнатов, Новая Мельница, Сидоркин. К храму было приписано 1120 прихожан.

В начале XX века настоятелем церкви стал Дионисий (Денис) Петрович Курбатов. Он построил двухэтажный каменный дом на месте бывшего пустыря и свалки на улице Широкой (сейчас ул. Комсомольская, 75). При доме располагалась усадьба с хозяйственными постройками: сараями для скота, амбарами, омшаником и садом. В то время слобода Дмитриевка не входила в состав Алексеевки.

Семья Курбатовых проживала здесь до 1919 года, после чего уехала, чтобы избежать преследований властей. Однако Денис Петрович не избежал своей судьбы и, как многие священники, погиб в ходе репрессий 1930-х годов.

В 1997 году церковь была обновлена. Позолоченные кресты, купол и шпиль освятил епископ Белгородский и Старооскольский Иоанн. В 2006 году вокруг церкви установили новую ограду из краснокирпичных столбиков и металлической кованой решётки. Храм признан памятником истории и культуры и взят под охрану государства.