La historia del pueblo Krasnoe (Krasny Kolodez) está inextricablemente ligada a la iglesia de Elías el Profeta. No es posible determinar el período en que Krasnoe existió sin esta iglesia. En una carta del rector de la iglesia catedral de la Trinidad de la ciudad de Olshansk a la jerarquía eclesiástica en 1660 se menciona: "En la ciudad de Olshansk hay tres iglesias, el año pasado había cuatro, pero la parroquia junto con la iglesia de Elías se trasladó". Aunque el nombre del pueblo no se menciona, es muy probable que se refiera a Krasnoe.

En el distrito de Olshansk no había otro asentamiento con una iglesia de Elías, excepto Krasnoe. La primera mención documental de la iglesia de Elías el Profeta data de 1710. En el documento se dice: "El pueblo Krasny Kolodez, en él una iglesia en nombre del Santo Profeta Elías. En esa iglesia, en el patio, el sacerdote Stepan Fyodorov tiene 50 años, y en el segundo patio el sacerdote Fyodor Stepanov tiene 27 años". La presencia de dos sacerdotes indica dos estados de la iglesia debido al gran número de feligreses, incluidos los habitantes de la aldea Polnikovo. La primera iglesia probablemente existió hasta 1775, cuando se construyó una nueva iglesia de madera con campanario.

La actual iglesia de piedra fue erigida en 1842 con fondos de los feligreses, entre los que se encontraban los habitantes del pueblo Krasnoe y la aldea Kiselevka. En ese momento eran 2903 personas, y a la iglesia se le asignaron 36 desiatinas de tierra.

En la década de 1930, la iglesia fue cerrada, el rector fue reprimido, la comunidad disuelta, y se discutió la cuestión de la demolición del edificio. Como resultado, se destruyeron el campanario de piedra y el altar derecho, se eliminaron las bóvedas, que fueron reemplazadas por un techo plano. El edificio fue remodelado como club y sala de cine, y en el altar, tras la destrucción del iconostasio, se organizó un escenario.

En 1991, el edificio de la iglesia fue devuelto a los creyentes. Durante más de diez años se llevaron a cabo trabajos de reparación y restauración, durante los cuales se reconstruyó el campanario de piedra, se realizó el acabado exterior y la restauración del interior de la iglesia.

El 2 de agosto de 2007, en el día de Elías, el arzobispo (ahora metropolitano) de Belgorod y Starooskolsky, Ioann, consagró la iglesia restaurada.