В историческом центре Харькова, где улица Пушкинская встречается со старинным парком, расположился храм Усекновения главы Иоанна Предтечи, выполненный в русско-византийском стиле. Архитектором храма был Андрей Андреевич Тон, академик архитектуры. В 1857 году храм был освящен архиепископом Харьковским и Ахтырским Иннокентием Борисовым. Первым настоятелем стал священник Иоанн Чудновский, который умер 18 февраля 1859 года и был похоронен у северной стены храма.

В Харьковском календаре 1878 года, изданном Харьковским Статистическим комитетом, в разделе о церквях города, не имеющих приходов, упоминается кладбищенская церковь Усекновения главы Иоанна Предтечи. Настоятелем был священник Оникевич Никандр Иванович, а его помощником, священник Волобуев Георгий Иванович. Отец Никандр также служил инспектором и законоучителем в Харьковском Епархиальном Женском училище, располагавшемся неподалеку, и имел степень кандидата богословия Киевской духовной академии. Отец Георгий также был помощником законоучителя.

С 1882 по 1884 год в храме служил известный харьковский богослов, писатель и историк протоиерей Тимофей Иванович Буткевич, который внес значительный вклад в духовную жизнь города. В 1903 году настоятелем стал протоиерей Иоанн Христофорович Пичета, родом из Сербии, который активно развивал духовные школы православной церкви.

В 1920-е годы храм был захвачен обновленцами и закрыт, но не разрушен. Его внутреннее убранство было уничтожено, а церковная утварь и иконы разграблены. Возможно, храм сохранился благодаря своему расположению в глубине кладбища. В 1941 году немецкие войска, зная о складе боеприпасов в храме, подвергли его обстрелу, но здание почти не пострадало. В 1943 году, после освобождения Харькова, богослужения возобновились, и храм начали восстанавливать.

В 1970 году вторым священником храма стал отец Ярослав Бовтюк, который через полтора года возглавил приход. В 1987 году на территории храма был построен новый храм в честь преподобного Иова Почаевского. Протоиерей Ярослав Бовтюк посвятил более 50 лет пастырскому служению, из них более 40 лет, Иоанно-Усекновенскому храму. Он был награжден множеством церковных орденов за свой многолетний труд.