L'église en pierre à Alexeïevka a été construite en 1813 et consacrée par l'évêque Antoine en l'honneur de saint Dimitri de Rostov, le miracle, avec une chapelle dédiée à l'icône de la Mère de Dieu de Kazan.

L'église est réalisée dans le style classique, caractéristique de l'époque. De massifs pilastres ornent tous les vestibules et la saillie de l'autel. Sous le fronton triangulaire se trouvent des encadrements en arc des fenêtres semi-circulaires, les autres fenêtres sont de forme rectangulaire. Le tambour cylindrique lumineux au-dessus de la partie centrale de l'église est couvert d'un hémisphère, surmonté d'une tête raffinée avec un bulbe. Le clocher de l'église est à un étage et se termine par une flèche unique en forme d'entonnoir.

En 1886, l'église avait deux clergés permanents et possédait 39 dessiatines de terre. La paroisse comprenait non seulement le village, mais aussi les hameaux de Grechannikov, Ignatov, Nouvelle Meunerie, Sidorikin. L'église comptait 1120 paroissiens.

Au début du XXe siècle, le prêtre de l'église était Dionysius (Denis) Petrovich Kourbatov. Il a construit une maison en pierre à deux étages à l'emplacement d'un ancien terrain vague et d'une décharge sur la rue Shirokaya (aujourd'hui rue Komsomolskaya, 75). La maison était accompagnée d'un domaine avec des bâtiments agricoles : des étables pour le bétail, des granges, un abri à abeilles et un jardin. À cette époque, le village de Dmitrievka ne faisait pas partie d'Alexeïevka.

La famille Kourbatov y a vécu jusqu'en 1919, après quoi elle est partie pour échapper aux persécutions des autorités. Cependant, Denis Petrovich n'a pas échappé à son destin et, comme de nombreux prêtres, a péri lors des répressions des années 1930.

En 1997, l'église a été rénovée. Les croix dorées, le dôme et la flèche ont été consacrés par l'évêque de Belgorod et de Starooskol, Ioann. En 2006, une nouvelle clôture en colonnes de briques rouges et en grille métallique forgée a été installée autour de l'église. L'église est reconnue comme monument d'histoire et de culture et est placée sous la protection de l'État.