На месте современной церкви Ильи Пророка в XVI и XVII веках находился мужской Ильинский монастырь, точная дата основания которого неизвестна. Существует предположение, что монастырь был построен на месте языческого капища Перуна.

Церковь пророка Ильи расположена на небольшой возвышенности. Название «в Каменьи» связано с тем, что при Иване Грозном здесь складировался известковый камень, использовавшийся для строительства каменной стены Вологодского кремля. Историк И.К. Степановский писал, что камень в большом количестве покрывал пространство от реки до Владимирской церкви, оставаясь в этом районе города до конца XVIII, начала XIX веков. Со временем неиспользованный камень постепенно уходил в землю, и лишь местами его было видно.

Холодный Ильинский храм вместе с теплым храмом Варлаама Хутынского составляли один приход. В конце XIX и начале XX века приход был небольшим, не более ста человек. В начале 1920-х годов храм перешел к обновленцам. В 1924 году община Ильинской церкви отстранила обновленческого священника Александра Сахарова и единогласно выбрала настоятелем протоиерея Алексея Углицкого, который ранее служил в Успенском женском монастыре и поддерживал Патриарха. 24 февраля 1930 года власти Вологды приняли решение закрыть Ильинскую церковь для богослужений. Древние иконы храма были переданы в музейные фонды. В 1930-е годы в храме находился архив, а в 1950-е и 1970-е годы, книжный склад.

Постановлением Совета Министров РСФСР ансамбль церквей бывшего Ильинского монастыря, включая Церковь Варлаама Хутынского и Церковь Ильи Пророка на Каменьи, был взят под государственную охрану как объект культурного наследия федерального значения. В настоящее время здесь располагается федеральное государственное учреждение культуры «Всероссийский художественный научно-реставрационный центр имени академика И.Э. Грабаря».