Первый Ильинский храм, согласно документам, находился "в городе", то есть в кремле, рядом со Спасским монастырем и был деревянным. В 1679 году его перенесли "на посад в старый острог" за Глебовские ворота. Взамен деревянной церкви в 1699-1700 годах из кирпича обрушившегося Успенского собора построили нынешнюю церковь. Позже в ней появился придел в честь великомученика Георгия, который, как свидетельствуют источники, существовал уже в 1762 году. В 1806 году трапезная часть была расширена, и вместо одного сделали два придела: в честь святого апостола Иоанна Богослова и первомученика архидиакона Стефана. Примерно в это же время была построена колокольня, которая до наших дней не сохранилась.

К 1805 году трапезная часть Ильинской церкви была расширена и отделана. После 1817 года в приделе святого апостола Иоанна Богослова установили новый иконостас и расписали алтарь. В 1875-1876 годах восточную часть храма расширили боковыми пристройками, соединив их арками с северной и южной сторон. В пристройках разместили приделы, куда перенесли престолы из трапезной 1877 года. Вокруг церкви в 1870 году возвели каменную ограду с чугунной решеткой. После перестройки храм значительно изменился. Среди икон храма особенно почиталась икона Божией Матери "Одигитрия-Смоленская", большого размера и древнего письма. По преданию, она находилась в каменной часовне у городских ворот возле Глебовской башни и в 1618 году чудесным образом защитила город от врагов. Преосвященный Симон Лагов перенес эту икону в Ильинский храм, но ее текущее местонахождение неизвестно. Службы в Ильинской церкви продолжались и после революции 1917 года, и она стала одним из немногих центров церковной жизни в Рязани, привлекая множество верующих. Храм закрыли 18 ноября 1929 года, и его приспособили под зернохранилище. С тех пор он неоднократно перестраивался. Даже в 1940 году власти заметили, что "фасад не исправлен от молитвенного здания", и срочно приняли меры.

Долгое время в церкви располагался лекторий общества "Знание". В 1990-х годах, когда православные храмы начали возвращать Церкви, Ильинскому храму угрожала перспектива стать Дворцом бракосочетания. На фасаде здания появились фигуры обнаженных мужчины и женщины, но этого не случилось. 5 февраля 2000 года храм Илии Пророка был вновь освящён.