Dans le village de Budanovka, le 11 avril 2001, une paroisse a été ouverte, et le 28 avril 2002, avec la bénédiction de l'archevêque de Koursk et Rylsk, Iouvenali, la construction de l'église « de Tous les Saints, qui ont brillé en terre russe » a commencé, posant la première pierre.

Selon l'ordonnance de l'évêché du 20 novembre 2001, le prêtre Afanasy est devenu le supérieur de l'église, sous la direction duquel la construction a commencé. En 2004, le tambour et le dôme ont été érigés, et le 20 octobre de la même année, une croix a été élevée, bénie le 27 septembre lors de la fête de « l'Exaltation de la Sainte Croix ».

Lors de la fête de « la Présentation du Seigneur » en 2006, les habitants de Budanovka ont entendu le carillon de l'église paroissiale. La même année, une grille de protection a été installée autour du tambour et une clôture en pierre autour de l'église. Grâce aux dons des paroissiens, des cloches pesant 1500 et 300 kg ont été acquises. À l'intérieur de l'église, le dôme a été décoré avec l'image de « la Transfiguration du Seigneur ».

En 2008, la construction du clocher a commencé, et la même année, les paroissiens ont fait don d'une autre cloche pesant 5700 kg. À la fin de l'année, toutes les cloches avaient été installées sur le beffroi.

Une école du dimanche pour les enfants de 6 à 10 ans a été ouverte à l'église, prévue pour la première année d'enseignement.