Участок земли, где сейчас стоит храм, был куплен Русской духовной миссией в Иерусалиме в 1909 году. Однако местные турецкие власти не давали разрешения на строительство. Архимандрит Леонид (Сенцов), возглавлявший миссию, предложил сначала построить трапезную для паломников, прибывавших в Хайфу морем. Строительством церкви руководил инженер Борис Гуревич.

В 1912 году миссия начала добиваться разрешения на перепланировку трапезной. К зданию пристроили алтарь, установили иконостас из серого мрамора и колокольню. В начале 1913 года разрешение было получено, чему способствовало празднование юбилея Дома Романовых. Русский участок в Хайфе предложили назвать «Романовским подворьем». Решение вопроса заняло больше времени, чем ожидалось, и потребовало дополнительных формальностей. 14 ноября 1913 года храм во имя Ильи Пророка был торжественно освящён Патриархом Иерусалимским Дамианом.

В отчете Русской духовной миссии говорится, что «храм Илии на горе Кармил близ города Кайфы очень небольшой. Он выполнен в форме греческого креста и в греческом архитектурном стиле, но для немногочисленных паломников и местных православных арабов вполне достаточен. Иконостас небольшой, одноярусный, но хороший. Ризница и утварь скромные. Большинство вещей взято из Троицкого собора в Иерусалиме, часть пожертвована».

Первая мировая война нарушила размеренную жизнь храма. Приток паломников из России практически прекратился, и церковь оставалась бездействующей, так как не было священника. В 1920-1930-е годы в храме служил арабский православный священник протоиерей Николай, который после смерти был похоронен рядом с храмом на русском участке. После этого службы проводились лишь эпизодически, когда приезжали паломники со священниками.

После образования государства Израиль объекты Русской Духовной Миссии, в том числе Церковь пророка Илии в Хайфе, перешли под управление Московского Патриархата (ранее они находились в ведении РПЦЗ).

Весной 1991 года в храме Гроба Господня был рукоположен во священники Мирослав Витив, который стал настоятелем храма Илии Пророка. После визита Патриарха Московского и всея Руси Алексия II в том же году паломническая жизнь оживилась, храмы начали реставрироваться, и появились новые священники.