La iglesia de madera del Bautista Juan en Olkhovka fue construida en 1870. En 1929 fue cerrada y convertida en un almacén de granos.

La iglesia fue completamente reabierta en 1989 tras una restauración y fue consagrada por el Arzobispo de Kursk y Rylsk, Juvenal (Tarasov). A finales de octubre de 1998, ocurrió un incendio en la iglesia, después del cual los servicios religiosos se llevaron a cabo temporalmente en el edificio de un jardín de infantes. En 2010 se desarrolló un proyecto de reconstrucción de la iglesia dañada.