История поселка Касторное берет свое начало в 1590 году, когда его название впервые упоминается в письменных источниках. В конце XVI века здесь находилась деревянная крепость, окруженная рвом, валом и частоколом, где первыми жителями были служилые казаки. Предполагается, что они прибыли из украинских городов, поскольку в 1575 году Иван Грозный отстранил от службы казаков из Ливен и Ельца, которые осмелились подать ему челобитную.

Согласно переписи 1859 года, Касторное было казенным селом на реке Олым с церковью, ярмаркой и базаром, где проживало 1105 человек. До 1923 года село входило в состав Землянского уезда Воронежской губернии. При Екатерине II в Касторном была построена каменная церковь, освященная 15 августа 1763 года в честь Успения Пресвятой Богородицы. Архимандрит Дмитрий (Самбикин) в документах 1880-х годов отмечал: «Церковь в селе Касторном, Землянского уезда, с приделами святой великомученицы Варвары и Николая Чудотворца, каменная с колокольней, построена в 1779 году. Земли пахотной 30 десятин и сенокосной 3 десятины. В ограде две каменные кладовые. Прихожан 1660 душ. Два штата. Деревни: Московский Колодезь, Отрада, Николаевка, Покровская, Знаменская, Дмитриевская, Ключи, Андреевка, Архангельская, Знамено-Архангельская, Ново-Успенская».

В 1872-1873 годах в Успенской церкви служили священники Павел Дионисьевич Троицкий и Николай Скрябин. На рубеже XIX-XX веков в штате церкви числились три священника (Иоанн Николаевич Богомолов, Димитрий Иванович Нечаев и Тихон Песков), диакон (Александр Николаевич Минервин) и два псаломщика (Петр Саввич Смирнов и Иван Курбатов). У церкви было 33½ десятины земли, и в приходе насчитывалось 536 дворов с 4125 жителями.

П. Никольский в своих трудах указывает, что церковь была построена в 1799 году. Священник Димитрий Нечаев также упоминается в 1912 году: «26 августа 1912 года в Касторенской приходской церкви при большом стечении населения благочинный 3-го округа, священник Дмитрий Нечаев, отслужил заупокойную литургию и благодарственный молебен в честь 100-летия Отечественной войны 1812 года».

В 1937 году церковь была переоборудована под дом культуры. До снятия колоколов службу вел отец Дмитрий Нечаев, который всю жизнь вел летопись Касторной. Однако летопись не сохранилась, так как погибла в огне революции. В настоящее время Успенская церковь является памятником истории и культуры народов России и объектом культурного наследия.