El templo de piedra en Alekseevka fue construido en 1813 y consagrado por el obispo Antonio en honor al santo Dimitri de Rostov, milagroso, con una capilla dedicada a la imagen de Kazán de la Madre de Dios.

La iglesia está realizada en el estilo del clasicismo, característico de esa época. Masivos pilastras adornan todos los vestíbulos y el saliente del altar. Bajo el frontón triangular se encuentran los marcos arqueados de las ventanas semicirculares, mientras que las demás ventanas son de forma rectangular. El tambor cilíndrico luminoso sobre la parte central del templo está cubierto por una cúpula semiesférica, rematada con una exquisita cabeza con una veleta. La campanario del templo es de un solo nivel y termina en un único pináculo en forma de embudo.

Para 1886, en la iglesia servían dos clérigos oficiales, y le pertenecían 39 desiatinas de tierra. La parroquia incluía no solo la aldea, sino también las aldeas de Grechanikov, Ignatov, Nueva Molienda y Sidorikin. A la iglesia estaban adscritos 1120 feligreses.

A principios del siglo XX, el rector de la iglesia fue Dionisio (Denis) Petrovich Kurbatov. Él construyó una casa de piedra de dos pisos en el lugar de un antiguo terreno baldío y un vertedero en la calle Shirokaya (ahora calle Komsomolskaya, 75). Junto a la casa había una finca con edificios de servicio: establos para ganado, graneros, un apiario y un jardín. En ese momento, la aldea Dmitrievka no formaba parte de Alekseevka.

La familia Kurbatov vivió aquí hasta 1919, después de lo cual se marcharon para evitar la persecución de las autoridades. Sin embargo, Denis Petrovich no escapó de su destino y, como muchos sacerdotes, murió durante las represiones de la década de 1930.

En 1997, la iglesia fue renovada. Las cruces doradas, la cúpula y el pináculo fueron consagrados por el obispo de Belgorod y Starooskolsky, Ioann. En 2006, se instaló una nueva cerca de columnas de ladrillo rojo y una reja de metal forjado alrededor de la iglesia. El templo ha sido reconocido como un monumento de historia y cultura y está bajo la protección del estado.