Храм Рождества Пресвятой Богородицы в селе Алексеевка был возведен в 2011 году на месте старой церкви XVIII века, разрушенной после Великой Отечественной войны.

Каменный храм, построенный в середине XVIII века в селе Красное (переименованном в Алексеевку в начале XX века), был посвящен Рождеству Богородицы. В советское время храм закрыли и использовали как зернохранилище. Он сильно пострадал во время Великой Отечественной войны и был окончательно разрушен в послевоенные годы.

В 1997 году началось возрождение православных традиций в селе, и 22 апреля, в праздник Пасхи, был открыт приход храма в честь Рождества Пресвятой Богородицы.

В селе также находится музей М.С. Щепкина, где хранится часть церковной утвари из разрушенного каменного храма.

25 августа 2003 года архиепископ Белгородский и Старооскольский Иоанн освятил закладной камень нового храма.

16 сентября 2011 года, накануне 100-летия канонизации святителя Иоасафа, вновь построенный храм Рождества Пресвятой Богородицы был освящен Высокопреосвященным Иоанном.