Die Geschichte des Dorfes Kastornoje beginnt im Jahr 1590, als sein Name erstmals in schriftlichen Quellen erwähnt wird. Ende des 16. Jahrhunderts gab es hier eine hölzerne Festung, umgeben von einem Graben, einem Wall und einem Zaun, wo die ersten Bewohner diensttuende Kosaken waren. Es wird vermutet, dass sie aus ukrainischen Städten kamen, da Iwan der Schreckliche 1575 die Kosaken aus Liwen und Jelz absetzte, die es wagten, ihm eine Petition vorzulegen.

Laut der Volkszählung von 1859 war Kastornoje ein staatliches Dorf am Fluss Olym mit einer Kirche, einem Markt und einem Basar, in dem 1105 Menschen lebten. Bis 1923 gehörte das Dorf zum Zemljansker Landkreis der Provinz Woronesch. Unter Katharina II. wurde in Kastornoje eine Steinkirche erbaut, die am 15. August 1763 zu Ehren der Entschlafung der Heiligen Gottesmutter geweiht wurde. Der Archimandrit Dmitri (Sambikin) bemerkte in Dokumenten der 1880er Jahre: „Die Kirche im Dorf Kastornoje, Zemljansker Landkreis, mit Seitenaltären der heiligen Märtyrerin Barbara und des heiligen Nikolaus des Wundertäters, aus Stein mit einem Glockenturm, wurde 1779 erbaut. Ackerland 30 Desjatinen und Wiesen 3 Desjatinen. Im Garten zwei steinerne Lagerhäuser. 1660 Seelen. Zwei Stände. Dörfer: Moskovski Kolodez, Otradа, Nikolaevka, Pokrowskaja, Znamenskaja, Dmitrievskaja, Ključi, Andrejevka, Archangelskaja, Znameno-Archangelskaja, Novo-Uspenskaja."

In den Jahren 1872-1873 dienten in der Uspenskaja Kirche die Priester Pawel Dionisjewitsch Troizki und Nikolaj Skryabin. An der Wende vom 19. zum 20. Jahrhundert zählte die Kirche drei Priester (Ioann Nikolajewitsch Bogomolow, Dmitrij Iwanowitsch Nechajew und Tichon Peskow), einen Diakon (Alexander Nikolajewitsch Minervin) und zwei Psalmodisten (Pjotr Sawwitsch Smirnow und Ivan Kurbatow). Die Kirche hatte 33½ Desjatinen Land, und in der Gemeinde gab es 536 Höhlen mit 4125 Einwohnern.

P. Nikolsky gibt in seinen Arbeiten an, dass die Kirche 1799 erbaut wurde. Der Priester Dmitrij Nechajew wird auch 1912 erwähnt: „Am 26. August 1912 in der Kastornoje Gemeinde Kirche, bei großer Menschenmenge, feierte der Dekan des 3. Kreises, Priester Dmitrij Nechajew, eine Totenliturgie und ein Dankgebet zum 100. Jahrestag des Vaterländischen Krieges von 1812."

Im Jahr 1937 wurde die Kirche in ein Kulturhaus umgewandelt. Bis zur Abnahme der Glocken leitete Vater Dmitrij Nechajew den Gottesdienst, der sein ganzes Leben lang die Chronik von Kastornoje führte. Diese Chronik ist jedoch nicht erhalten geblieben, da sie im Feuer der Revolution verbrannte. Derzeit ist die Uspenskaja Kirche ein Denkmal der Geschichte und Kultur der Völker Russlands und ein Objekt des kulturellen Erbes.