La historia del pueblo de Kastornoe se remonta a 1590, cuando su nombre se menciona por primera vez en fuentes escritas. A finales del siglo XVI, había una fortaleza de madera rodeada de un foso, un terraplén y una empalizada, donde los primeros habitantes eran cosacos al servicio. Se supone que llegaron de ciudades ucranianas, ya que en 1575 Iván el Terrible destituyó del servicio a los cosacos de Livny y Elets, quienes se atrevieron a presentarle una petición.

Según el censo de 1859, Kastornoe era un pueblo estatal a orillas del río Olym con una iglesia, una feria y un mercado, donde vivían 1105 personas. Hasta 1923, el pueblo formaba parte del distrito de Zemlyansk en la provincia de Vorónezh. Durante el reinado de Catalina II, se construyó en Kastornoe una iglesia de piedra, consagrada el 15 de agosto de 1763 en honor a la Asunción de la Santísima Virgen. El archimandrita Dmitri (Sambikin) anotó en documentos de la década de 1880: "La iglesia en el pueblo de Kastornoe, del distrito de Zemlyansk, con capillas de la santa gran mártir Bárbara y Nicolás el Milagroso, es de piedra con campanario, construida en 1779. Tierra cultivable 30 desiatinas y de heno 3 desiatinas. En el recinto hay dos almacenes de piedra. Hay 1660 feligreses. Dos estados. Aldeas: Moskovski Kolodez, Otrada, Nikolayevka, Pokrovskaya, Znamenskaya, Dmitriyevskaya, Klyuchi, Andreevka, Arkhangelskaya, Znameno-Arkhangelskaya, Novo-Uspenskaya."

En 1872-1873, en la iglesia de la Asunción sirvieron los sacerdotes Pavel Dionisievich Troitsky y Nikolai Skryabin. A finales del siglo XIX y principios del XX, en el personal de la iglesia había tres sacerdotes (Ioann Nikolayevich Bogomolov, Dmitri Ivanovich Nechaev y Tikhon Peskov), un diácono (Alexander Nikolayevich Minervin) y dos salmistas (Petr Savvich Smirnov e Ivan Kurbatov). La iglesia tenía 33½ desiatinas de tierra, y en la parroquia había 536 hogares con 4125 habitantes.

P. Nikolsky en sus obras indica que la iglesia fue construida en 1799. El sacerdote Dmitri Nechaev también se menciona en 1912: "El 26 de agosto de 1912, en la iglesia parroquial de Kastornoe, con una gran afluencia de población, el superintendente del 3er distrito, el sacerdote Dmitri Nechaev, celebró una liturgia de réquiem y un moleben de agradecimiento en honor al centenario de la Guerra Patriótica de 1812."

En 1937, la iglesia fue remodelada como casa de cultura. Hasta la remoción de las campanas, el servicio fue dirigido por el padre Dmitri Nechaev, quien llevó un registro de Kastornoe toda su vida. Sin embargo, el registro no se ha conservado, ya que se perdió en el fuego de la revolución. Actualmente, la iglesia de la Asunción es un monumento de la historia y cultura de los pueblos de Rusia y un objeto de patrimonio cultural.