Die Steinkirche in Alexejewka wurde 1813 erbaut und von Bischof Antonios zu Ehren des Heiligen Dimitrius von Rostow, des Wundertäters, geweiht, mit einer Kapelle, die der Ikone der Gottesmutter von Kasan gewidmet ist.

Die Kirche ist im klassizistischen Stil gehalten, der für diese Zeit charakteristisch ist. Massive Pilaster schmücken alle Vorhallen und den Altarvorsprung. Unter dem dreieckigen Giebel befinden sich bogenförmige Fensterrahmen der halbkreisförmigen Fenster, die anderen Fenster sind rechteckig. Der lichtdurchflutete zylindrische Tambour über dem zentralen Teil der Kirche ist mit einer Halbkugel bedeckt, die von einem kunstvollen Haupt mit einer Zwiebelkuppel gekrönt wird. Der Glockenturm der Kirche ist einstöckig und endet mit einem einzigartigen trichterförmigen Spitzdach.

Bis 1886 gab es in der Kirche zwei ständige Geistliche, und sie besaß 39 Desjatinen Land. Zur Gemeinde gehörten nicht nur das Dorf, sondern auch die Höhlen von Grechanikow, Ignatow, Neue Mühle, Sidorow. Der Kirche waren 1120 Gläubige zugeordnet.

Zu Beginn des 20. Jahrhunderts wurde Dionysius (Denis) Petrowitsch Kurbatow zum Pfarrer der Kirche. Er baute ein zweigeschossiges Steinhaus an der Stelle eines ehemaligen Brachlandes und einer Müllhalde in der Breitenstraße (heute Komso molskaja, 75). Neben dem Haus befand sich ein Anwesen mit Wirtschaftsgebäuden: Ställen für Vieh, Scheunen, einem Bienenhaus und einem Garten. Zu dieser Zeit gehörte das Dorf Dmitrijewka nicht zu Alexejewka.

Die Familie Kurbatow lebte bis 1919 hier, danach zog sie weg, um Verfolgungen durch die Behörden zu entgehen. Doch Denis Petrowitsch entging seinem Schicksal nicht und starb, wie viele Priester, während der Repressionen der 1930er Jahre.

Im Jahr 1997 wurde die Kirche renoviert. Die vergoldeten Kreuze, die Kuppel und der Turm wurden von Bischof Ioann von Belgorod und Starooskol geweiht. Im Jahr 2006 wurde um die Kirche eine neue Umzäunung aus roten Ziegelpfeilern und einem schmiedeeisernen Gitter errichtet. Die Kirche wurde als Denkmal der Geschichte und Kultur anerkannt und steht unter staatlichem Schutz.