В 60-х годах XIX века жители Журавлевки решили построить храм, что было связано с быстрым ростом города и включением их территории в его состав. Население Журавлевки, а также близлежащих хуторов и деревень, которые позже стали частью Петропавловского прихода, увеличивалось. По оценкам, прихожан было около 3 тысяч, среди которых были государственные крестьяне, мещане, купцы и дворяне.

Приходское собрание решило возвести храм в честь апостолов Петра и Павла, так как в городе не было храма, посвященного этим святым, а престолы в других церквях требовали ремонта или были уничтожены. До этого жители Журавлевки посещали храм Рождества Пресвятой Богородицы. Инициаторами строительства стали прихожане, которые возглавили строительный комитет. Среди них были харьковские купцы Иван Васильевич Яковлев с женой Пелагеей, Алексей Иванович Левченко, Иван Гаврилович Вихрев, Анна Ильинична Чечерина и крестьянин Дмитрий Петрович Стронов. В 1870 году Иван Васильевич Болотов завещал 25 тысяч рублей на строительство храма, который должен был быть построен первым после его смерти. Болотов, купец первой гильдии, занимался торговлей и жертвовал на церкви, но в конце жизни решил поддержать крупный проект. В то время среди богатых людей было принято оставлять крупные суммы на благотворительность, что считалось национальной чертой слобожан.

После подачи прошения в Консисторию был утвержден проект храма, разработанный епархиальным архитектором, и в 1872 году началось строительство. Строительный комитет, в который входили купцы Яковлев и Левченко, а также крестьянин Стронов, приобрел участок земли у генеральши Козляниновой для строительства храма. Позже был куплен еще один участок для дома священника и дьякона. План земли и купчая крепость были переданы духовной Консистории в 1882 году первым настоятелем Петропавловского храма Николаем Пантелимоновым.

К 1875 году храм был построен в форме корабля с тремя престолами. На южной стороне был построен дом для приходского училища. 21 сентября 1875 года архиепископ Савва освятил северный придел, где был престол в честь блаженного Василия, небесного покровителя Василия Болотова. Главный престол в честь апостолов Петра и Павла освятил епископ Вениамин 5 сентября 1876 года. Последний престол в честь Иоанна Предтечи и мученицы Пелагеи, покровителей купцов Яковлевых, освятил архиепископ Амвросий 12 октября 1886 года. Храм поддерживался пожертвованиями, на которые было собрано 4850 рублей. Фрески внутри храма написал московский художник Иван Челяпов.

В 1902 году на территории храма возникло приходское училище, которое позже перешло городу. В 1907 году обсуждалось строительство церковно-приходской школы. Бесплатное образование было важным шагом к всеобщему образованию. В 1896 году на Журавлевку и окрестности приходилась только одна воскресная школа при храме, где изучались грамота, Закон Божий, арифметика и другие предметы.

В декабре 1909 года в храме прошло первое собрание «Кружка ревнителей Православной церкви», вызвавшее интерес у 250 человек. В 1910 году холера обошла приход стороной. В 1917 году, с началом революции, большевики изменили привычный уклад жизни, издав декреты о разделении церкви и государства, запрете крестных ходов и преподавания Закона Божьего. Прихожане попытались провести крестный ход, но власти запретили его.

С приходом немецко-гайдамацких войск большевики продолжали агитацию, но их призывы не находили отклика. В августе 1919 года прихожане участвовали в молебне по случаю освобождения города от большевиков. Протоиерей Николай Смирнов писал, что с новой властью жизнь начала налаживаться.

Петропавловский храм функционировал до 1937 года, когда его настоятель Андрей Толмачев был арестован и расстрелян в 1938 году. В 1945 году храм был зарегистрирован властями, и в нем возобновились службы. Во время войны храм пострадал от пожара, устроенного отступающими большевиками, и использовался немцами как хлев.

Купола храма были заменены новыми, более крупными, и он стал пятикупольным. Внутри проведены реставрационные работы, установлена электрическая проводка, проведена вода, а пол стал деревянным. Территория храма была благоустроена.

В 2003 году начались реставрационные работы. Храм был оштукатурен и побелен, положен новый пол, начата роспись. В 2004-2006 годах завершена роспись в академическом стиле. В 2004 году проведены работы в алтаре, установлены новый иконостас и кованая ограда. Вечером храм украшает художественная подсветка, делая его одной из достопримечательностей Харькова.