La iglesia de Krestitel se encuentra en el suroeste de la ciudad, en el territorio del cementerio de Krestitel, fundado en 1772, entre densos arbustos y árboles. Entre 1774 y 1777 se construyó una iglesia de piedra dedicada a Juan Bautista.

En 1828 se añadió a la iglesia un refectorio con campanario y dos capillas, dedicadas a la iconografía de "La Alegría de Todos los Afligidos" y a la iconografía de Nuestra Señora de Kazán. En 1870, la iglesia fue ampliada con adiciones de piedra a ambos lados. En la década de 1820 se construyó un asilo de piedra de dos pisos en el territorio del cementerio. El 12 de septiembre de 1863, fue visitado por el heredero al trono Nicolás Alexandrovich, hijo del emperador Alejandro II, quien falleció en 1866. En 1864, el cementerio fue rodeado por un muro de ladrillo. Desde 1867, el asilo albergó un refugio para viudas y huérfanos del clero.

En la década de 1930, la iglesia fue cerrada. Funcionó entre 1942 y 1944, pero luego fue cerrada nuevamente. Se reabrió en la década de 1960. El edificio de la iglesia está marcado con una placa conmemorativa como monumento arquitectónico. En el territorio del necrópolis descansan el metropolitano de Oryol y Bryansk Palladio (1896, 1976), el arzobispo de Oryol y Bryansk Bartolomé (1928, 1988), así como los historiadores locales Y. I. Gorozhansky (1858, 1913) y P. I. Sizov (1931, 1989), y el escritor y crítico literario L. N. Afonin (1918, 1975).

En la parte sur del cementerio se encuentra una tumba colectiva de soldados soviéticos que murieron en las batallas por la liberación de Oryol en agosto de 1943. En 1983, con motivo del 40 aniversario de la liberación de la ciudad, se erigió un memorial en este lugar. En las placas metálicas se indican los nombres de los soldados y comandantes caídos. Aquí, el 8 de mayo de 1987, se inauguró un monumento individual restaurado al comandante de la escuadrón del 61º ejército, el mayor T. G. Verkhoviy, quien murió el 3 de mayo de 1943. Originalmente fue enterrado en la plaza de los Tanquistas, y en 1952 sus restos fueron trasladados al cementerio de Krestitel.