В первой половине XIX века район Пески на северной окраине Харькова представлял собой небольшое поселение из 30 домов, сделанных из дерева и глины, с соломенными крышами. Жители, в основном малороссы, занимались сельским хозяйством и чумачеством, перевозя товары между югом и севером до появления железной дороги. Пески граничили с Университетской горой и садом на востоке, землями Бедрягиных на западе, Сердюковых на севере и болотами на юге, которые позже стали скотоприемным двором. Со временем Пески начали быстро застраиваться, и крестьяне переселялись в другие места. Единственный незастроенный участок земли, площадью 784 кв. саженей, был оставлен для университетского здания, где сейчас находится Пантелеимоновский храм. На этом месте открылся источник целебной воды, и по распоряжению губернатора Кокошкина были вырыты колодцы для жителей.

С ростом населения возникла необходимость выделить Пески в отдельный приход. В 1866 году Г.Г. Федоров пытался получить землю для строительства церкви, но из-за отсутствия средств и других причин это не удалось. Железная дорога подорвала чумачество, а запрет губернатора на хранение хлеба и сена ухудшил положение. В начале 1880-х годов в районе появились влиятельные жители, такие как К.Н. Захарьев и Н.А. Жевержеев. В январе 1882 года было подано прошение епископу Иустину, который дал разрешение на строительство храма. Жители собрали 10 тысяч рублей на строительство.

24 мая 1882 года епископ Иустин утвердил план церкви и назначил строительный комитет. 6 июня он освятил место закладки храма. Комитет решил расширить проект, добавив два алтаря. Вдова купца Е.М. Огненко взяла на себя устройство одного из приделов. Строительство шло быстро, и к 1883 году стены были возведены, а церковь покрыта железом. Колокольня была преобразована в трехъярусную. Внутреннее убранство включало иконы, написанные художником М.Ф. Плотниковым, и пожертвования от местных жителей.

Архитектор Ф.И. Данилов разработал проект в руссковизантийском стиле. В 1897-1898 годах архитектор М.И. Ловцов реконструировал храм, добавив декоративные элементы. После революции 1917 года храм был закрыт и использовался как клуб и школа. Во время Второй мировой войны богослужения возобновились, но в 1961 году храм снова закрыли. В 1982 году здание передали спортивному обществу, но ремонт не был проведен.

В 1989 году храм вернули Харьковской Епархии. Митрополит Никодим провел первую литургию в полуразрушенном храме. Настоятелем стал священник Леонтий Танашкин, который начал восстановление. В 1990 году были освящены колокола, а в 1991 году, главный престол. В 1992 году был найден утерянный источник, а территория вокруг него облагорожена. В 1995 году трагически погиб настоятель Леонтий Танашкин.

26 мая 1995 года настоятелем стал протоиерей Николай Терновецкий. Восстановление храма продолжалось, и к 1999 году завершились все работы. В 2000 году храму вернули дом первого настоятеля, который был отреставрирован и стал частью архитектурного ансамбля.