Согласно преданию, первый деревянный храм на этом месте был возведен князем Ярославом Мудрым, который основал город на правом берегу Волги в начале XI века. До строительства Успенского храма на Стрелке в 1215 году Ильинская церковь, вероятно, служила соборной. В период существования Ярославского удельного княжества, до середины XV века, Ильинская церковь вместе с Воскресенской и Петропавловской церквями обладала значительными привилегиями, которые подтверждали великие князья и цари от Ивана III до Михаила Федоровича. Это свидетельствует о ее древности и важной роли в жизни города. На протяжении веков деревянная Ильинская церковь неоднократно страдала от пожаров и в 1669 году сгорела от удара молнии. На ее месте была построена новая деревянная церковь, а в 1682 году, каменная, к которой в 1694 году был пристроен придел во имя святого Тихона Чудотворца, что дало ей название Тихоновской. В 1779 году, с утверждением нового плана Ярославля, большая часть домов в Рубленом и Земляном городе была снесена, а жители переселены за вал в посады, включенные в состав города. В результате церковь потеряла большинство прихожан и со временем обветшала. Осенью 1824 года ветхий храм был разобран, а в июне 1825 года архиепископ Ярославский и Ростовский Авраам заложил новый двухэтажный каменный храм. Строительство велось по проекту архитектора П.Я. Панькова на средства статского советника Михаила Алексеевича Ленивцева, который ценил памятники отечественной древности. При его жизни церковь была подведена под кровлю и завершена в 1831 году на средства петербургского купца I гильдии А.И. Атрыганьева. Храм выполнен в неоклассическом стиле, с колоннадой по фасадам и высокой лестницей у западного входа. Фронтон над входом украшали две башенки: одна служила колокольней, другая, ризницей. На верхнем этаже находилась холодная церковь во имя Пророка Илии, освященная 15 сентября 1832 года, в нижнем, теплая церковь во имя иконы Богоматери Ярославской, освященная 3 декабря 1833 года. С северной стороны был придел во имя святого Тихона, освященный 16 октября 1837 года, с южной, придел Архистратига Михаила, возможно, Бориса и Глеба. Некоторые предметы из упраздненной в 1828 году церкви Бориса и Глеба были перенесены сюда. Точная дата закрытия храма неизвестна. В 1930 году здание передали Бирже Труда, а в 1931 году церковь исключили из списка памятников архитектуры. Интерьер перестроили. В 1940-е годы здесь было общежитие мединститута, а в 1950-е годы пожар уничтожил внутренние помещения и крышу. После восстановления в храме разместились реставрационные мастерские. Сейчас здесь находятся запасники Ярославского художественного музея. В 2010 году на куполе храма восстановили главу с крестом.