В деревне Будановка 11 апреля 2001 года был открыт приход, а 28 апреля 2002 года, с благословения митрополита Курского и Рыльского Иувеналия, началось строительство храма «Всех святых, в земле Российской просиявших», заложив первый камень.

Согласно указу епархии от 20 ноября 2001 года, настоятелем храма стал игумен Афанасий, под чьим руководством началось строительство. В 2004 году были возведены барабан и купол, а 20 октября того же года поднят крест, освященный 27 сентября на праздник «Воздвижение Креста Господня».

На праздник «Сретение Господне» в 2006 году жители Будановки услышали звон колоколов приходского храма. В этом же году была установлена защитная решётка вокруг барабана и каменная ограда вокруг церкви. На пожертвования прихожан были приобретены колокола весом 1500 и 300 кг. Внутри храма купол был расписан образом «Преображение Господне».

В 2008 году началось строительство колокольни, и в этом же году прихожане пожертвовали ещё один колокол весом 5700 кг. К концу года все колокола были установлены на звоннице.

При храме открыта воскресная школа для детей 6-10 лет, рассчитанная на первый год обучения.