Деревянный храм Собора Иоанна Предтечи в Ольховке был возведен в 1870 году. В 1929 году его закрыли и переоборудовали под зернохранилище.

Полностью храм был открыт в 1989 году после реставрации и освящен Архиепископом Курским и Рыльским Ювеналием (Тарасовым). В конце октября 1998 года в храме случился пожар, после чего богослужения временно проводились в здании детского сада. В 2010 году был разработан проект реконструкции пострадавшего храма.