La principale attraction de Lysye Gory est l'église abandonnée de l'ancienne Vieille Bakhmetyevka, construite et consacrée en 1797 grâce aux efforts du propriétaire terrien Nikolai Ivanovich Bakhmetev. Ce temple, l'un des plus anciens de la région, a été construit en pierre et avait un clocher. Il abritait le maître-autel en l'honneur de la Naissance de Jean-Baptiste et une chapelle au nom de Nicolas le Miracleux. Le village de Grafshchina faisait également partie de la paroisse. Le prêtre vivait dans une maison commune, tandis que le psalmiste résidait dans un bâtiment ecclésiastique et communal.

À l'époque soviétique, l'église a été fermée, d'abord transformée en bureau de la MTS, puis en silo à grains du kolkhoze « Rodina ». Aujourd'hui, l'église, ayant perdu son clocher et tout son intérieur, est vide et se dégrade progressivement. Il n'est pas question de sa restauration, surtout compte tenu de la construction d'une nouvelle église dans le village.