L'église en bois de la Nativité de Saint Jean-Baptiste à Olkhovka a été construite en 1870. En 1929, elle a été fermée et réaménagée en silo à grains.

L'église a été entièrement rouverte en 1989 après restauration et consacrée par l'Archevêque de Koursk et Rylsk, Juvenaly (Tarassov). Fin octobre 1998, un incendie s'est déclaré dans l'église, après quoi les services religieux ont été temporairement célébrés dans un bâtiment de crèche. En 2010, un projet de reconstruction de l'église endommagée a été élaboré.