El terreno donde se encuentra el templo fue comprado por la Misión Espiritual Rusa en Jerusalén en 1909. Sin embargo, las autoridades turcas locales no dieron permiso para la construcción. El archimandrita Leonid (Sentsov), que dirigía la misión, propuso primero construir un comedor para los peregrinos que llegaban a Haifa por mar. La construcción de la iglesia fue dirigida por el ingeniero Boris Gurevich.

En 1912, la misión comenzó a solicitar permiso para reestructurar el comedor. Se añadió un altar al edificio, se instaló un iconostasio de mármol gris y una campanario. A principios de 1913 se obtuvo el permiso, facilitado por la celebración del aniversario de la Casa de los Romanov. Se propuso llamar a la parcela rusa en Haifa "Patio Romanov". La resolución del asunto tomó más tiempo del esperado y requirió formalidades adicionales. El 14 de noviembre de 1913, el templo en honor al Profeta Elías fue solemnemente consagrado por el Patriarca de Jerusalén, Damiano.

En el informe de la Misión Espiritual Rusa se menciona que "el templo de Elías en el monte Carmelo cerca de la ciudad de Caifa es muy pequeño. Está construido en forma de cruz griega y en estilo arquitectónico griego, pero es bastante suficiente para los pocos peregrinos y los árabes ortodoxos locales. El iconostasio es pequeño, de un solo nivel, pero bueno. La sacristía y los utensilios son modestos. La mayoría de los objetos fueron tomados de la Catedral de la Trinidad en Jerusalén, y parte fue donada".

La Primera Guerra Mundial interrumpió la vida tranquila del templo. El flujo de peregrinos de Rusia prácticamente se detuvo, y la iglesia permaneció inactiva, ya que no había sacerdote. En las décadas de 1920 y 1930, el templo fue atendido por el sacerdote ortodoxo árabe, el proto-presbítero Nicolás, quien fue enterrado cerca del templo en la parcela rusa tras su muerte. Después de eso, los servicios se llevaron a cabo solo de manera episódica, cuando llegaban peregrinos con sacerdotes.

Tras la formación del Estado de Israel, los objetos de la Misión Espiritual Rusa, incluida la Iglesia del Profeta Elías en Haifa, pasaron a estar bajo la administración del Patriarcado de Moscú (anteriormente estaban bajo la jurisdicción de la RPCZ).

En la primavera de 1991, en la iglesia del Santo Sepulcro fue ordenado sacerdote Miroslav Vitiv, quien se convirtió en el rector de la iglesia del Profeta Elías. Después de la visita del Patriarca de Moscú y de toda Rusia, Alexis II, ese mismo año, la vida de peregrinación se revitalizó, las iglesias comenzaron a ser restauradas y aparecieron nuevos sacerdotes.