Изначально Леонтьевский приход в Ярославле находился в Земляном городе, неподалеку от Кирилло-Афанасьевского монастыря. В 1635 году на месте старого деревянного храма был построен новый каменный, посвященный святителю Леонтию, епископу и чудотворцу Ростовскому, с приделом Девяти Мучеников Кизических и колокольней над входом. Значительный вклад в строительство внес ростовский купец Василий Федотов Мальгин. В 1688 году прихожане возвели на месте сгоревшей деревянной вторую каменную церковь, пятиглавую церковь Рождества Христова, а также каменное здание богадельни. Среди храмоздателей выделяется имя прихожанина Леонтьевской церкви, ярославского купца Ивана Ивановича Мякушкина, известного своей благотворительностью. В начале XVIII века приход насчитывал 61 двор, а общее число прихожан вместе с проживающими в богадельне составляло около 200 человек.

В 1778 году императрица Екатерина II утвердила генеральный план новой регулярной застройки Ярославля, который значительно изменил старую, хаотичную планировку центральной части города. Согласно этому плану, участок, где находились храмы Леонтьевского прихода, был отведен под строительство новых казенных зданий. Поэтому в 1783 году было решено упразднить приход в Земляном городе, а церковные здания разобрать и построить заново на новом городском кладбище по дороге на Углич. Здание состояло из теплой трапезной с двумя боковыми помещениями для приделов, главного храма, алтаря и колокольни высотой 8 сажен. Освящение нового храма состоялось 23 мая 1791 года, в день обретения мощей святителя Леонтия Ростовского. Храм был бесприходным.

Стенная живопись была выполнена, как гласила храмовая надпись, в 1806 и 1809 годах подрядчиком Семеном Степановым Завязошниковым и его подмастерьями Харлампием Петровым Дряниным и Василием Петровым. Роспись включала 107 сюжетов в трапезной, алтаре и приделах. В 1834 и 1888 годах фрески обновлялись. Иконостас был выполнен в 30-х годах XIX века резчиком из посада Большие Соли (ныне поселок Некрасовское) Владимиром Трубниковым.

В 1894 году при Леонтьевской церкви открылась школа грамоты для детей из близлежащих деревень и западных окраин города. Также при церкви существовала общественная богадельня, двухэтажное здание которой было построено на добровольные пожертвования в 1846 и 1847 годах и сохранилось до наших дней.

В 1931 году Леонтьевская церковь была передана религиозной общине обновленческой ориентации. Однако из-за малочисленности община не могла покрывать все расходы на содержание здания, и 7 декабря 1940 года исполком Ярославского Горсовета упразднил общину. В советское время интерьер церкви был изменен (появился второй этаж), а фресковая живопись практически утрачена, за исключением небольших фрагментов в алтарной части.

В 1991 году Леонтьевский кладбищенский храм был возвращен Русской Православной Церкви, в нем провели ремонт, и возобновились захоронения на Леонтьевском кладбище.