В XV веке волость Любунь была пожалована знаменитым князьям Одоевским и Воротынским за их многочисленные заслуги. К 1746 году село и окружающие его пустоши входили в состав Мосальского уезда и принадлежали майору Дементию Камынину. В конце XVIII века владельцами Любуни и трех соседних деревень стали помещики Иван Немиров, сестры Мокеевы, Степан Капорский, Домна Суходольская и Василий Яковлев. Согласно архивным документам, в то время на территории усадьбы находились деревянный господский дом с садом и Успенская церковь, также деревянная.

В 1782 году часть усадебных земель и крепостных крестьян приобрел полковник Николай Протопопов, владелец земель в окрестных деревнях, однако основным владельцем Любуни стал мосальский помещик, секунд-майор Антон Хлюстин. Переехав в Любунь, Хлюстин вложил значительные средства в строительство каменного храма Успения Пресвятой Богородицы, который заменил деревянную церковь и превосходил все храмы уезда по величию и убранству. К храму, покрытому железом и окруженному металлической оградой с башенками, примыкала каменная колокольня.

Барская усадьба располагалась на возвышенном месте и была окружена необходимыми службами. К одноэтажному каменному дому с центральным входом и мезонином в три окна вели липовая и березовая аллеи. Вокруг дома располагался ухоженный сад с разнообразными фруктовыми деревьями, а через реку Каменец были перекинуты деревянные мосты, известные как Синий и Пунякинский.

В конце XIX века усадьбу приобрели купцы Нил и Иван Домановы, владельцы крупной рогожной фабрики. В это время в Любуни функционировали три кузницы, земская школа и небольшой лесопильный завод предпринимателя М. Ананьева, где работали 20 человек. За три года до революции на окраине села построили двухэтажную больницу, часть которой занимала церковно-приходская школа. Ей конкурировала министерская школа для способных крестьянских детей из окрестных деревень. Возле Успенской церкви, окруженной садом, находился лазарет, где жил фельдшер. Богослужения в старом храме проводились двумя священниками при помощи дьякона, псаломщиков и звонаря до 1929 года, после чего храм закрыли, разграбили и разобрали на кирпич. На его месте теперь стоит памятный крест.

Главный усадебный дом некоторое время использовался комитетом бедноты и сельсоветом, а после Великой Отечественной войны, когда в Любуни осталось всего два уцелевших дома, в нем открыли сельскую школу. Сейчас здание пустует.