Главной достопримечательностью Лысых Гор является заброшенная церковь в бывшей Старой Бахметьевке, возведённая и освящённая в 1797 году стараниями помещика Николая Ивановича Бахметева. Этот храм, один из старейших в области, был построен из камня и имел колокольню. В нём находился главный престол в честь Рождества Иоанна Предтечи и придел во имя Николая Чудотворца. К приходу церкви относилась и деревня Графщина. Священник жил в общественном доме, а псаломщик, в церковно-общественном.

В советское время церковь закрыли, разместив в ней сначала контору МТС, а затем зернохранилище колхоза «Родина». Сегодня церковь, утратившая колокольню и всё внутреннее убранство, пустует и постепенно разрушается. О её восстановлении не идёт речи, особенно учитывая строительство нового храма в посёлке.