Die Krestitel-Kirche befindet sich am südwestlichen Rand der Stadt, auf dem Gelände des 1772 gegründeten Krestitel-Kirchhofs, umgeben von dichten Sträuchern und Bäumen. In der Zeit von 1774 bis 1777 wurde die steinerne Kirche, die Johannes dem Täufer gewidmet ist, errichtet.

1828 wurde der Kirche ein Speisesaal mit Glockenturm und zwei Kapellen hinzugefügt, die der Ikone "Freude aller Trauernden" und der Ikone der Gottesmutter von Kasan gewidmet sind. 1870 wurde die Kirche durch steinerne Anbauten auf beiden Seiten erweitert. In den 1820er Jahren wurde auf dem Gelände des Kirchhofs ein zweigeschossiges steinernes Waisenhaus erbaut. Am 12. September 1863 besuchte der Thronfolger Nikolai Alexandrowitsch, der Sohn von Kaiser Alexander II., der 1866 starb, das Waisenhaus. 1864 wurde der Kirchhof mit einer Ziegelmauer umgeben. Seit 1867 diente das Waisenhaus als Zuflucht für Witwen und Waisen des geistlichen Standes.

In den 1930er Jahren wurde die Kirche geschlossen. Sie war von 1942 bis 1944 in Betrieb, wurde dann jedoch erneut geschlossen. In den 1960er Jahren wurde sie wieder eröffnet. Das Gebäude der Kirche ist mit einer Gedenktafel als Denkmal der Architektur gekennzeichnet. Auf dem Gelände des Nekropole ruhen der Metropolit von Orjol und Brjansk Palladij (1896, 1976), der Erzbischof von Orjol und Brjansk Bartholomai (1928, 1988) sowie die Heimatforscher J. I. Gorozhanskij (1858, 1913) und P. I. Sizov (1931, 1989), der Schriftsteller und Literaturwissenschaftler L. N. Afonin (1918, 1975).

Im südlichen Teil des Kirchhofs befindet sich ein Massengrab sowjetischer Soldaten, die im August 1943 im Kampf um die Befreiung von Orjol gefallen sind. 1983, zum 40. Jahrestag der Befreiung der Stadt, wurde an dieser Stelle ein Denkmal errichtet. Auf metallenen Tafeln sind die Namen der gefallenen Kämpfer und Kommandeure verzeichnet. Hier wurde am 8. Mai 1987 das wiederhergestellte individuelle Denkmal für den Kommandeur des Geschwaders der 61. Armee, Major T. G. Verchovij, eröffnet, der am 3. Mai 1943 fiel. Ursprünglich wurde er auf dem Tankistenplatz beigesetzt, und 1952 wurden seine Überreste auf den Krestitel-Kirchhof übertragen.