В 1778 году, при создании Орловской губернии, для кладбища было выделено новое место за пределами города. Церкви на этом кладбище не было почти полвека, и только в 1823 году Орловская духовная консистория разрешила строительство каменной церкви на пожертвования. В мае 1828 года была освящена церковь во имя Живоначальной Троицы, а службы в ней начались в сентябре того же года. В 1849 году церковная паперть была вымощена камнем, а вокруг здания установлены деревянные решетки. Со временем церковь значительно расширили, и в 1864 году началась её реконструкция, завершившаяся освящением в 1867 году.

Изначально колокольня Троицкой церкви состояла из двух столбов с перекладиной. В 1838 году их заменили новыми дубовыми столбами с деревянной кровлей, которая простояла до 1850 года. В 1851 году начался сбор средств на строительство каменной колокольни, завершившийся в 1854 году.

После революции Троицкая церковь перешла в обновленческое движение. В 1929 году дом причта был изъят и заселен жильцами, а зимой 1930 года сняли колокола. Церковь функционировала еще несколько лет, но в середине 1930-х годов была закрыта. К началу Великой Отечественной войны она уже не действовала. Последняя работающая церковь в Орле, Воскресения Христова на Афанасьевском кладбище, закрылась в 1941 году.

В 1944 году Троицкая церковь была передана церковной общине для бесплатного пользования. В 1979 году расписали алтарь, а в 1980 году устроили отдельный вход с северной стороны и небольшую пристройку. В 1983 году проложили водоснабжение и устроили колодец для слива воды.

К 1990 году на первом этаже дома причта обустроили храм в честь святителя Иоанна Златоустого, а на втором этаже разместили воскресную школу и библиотеку, открывшуюся в 1991 году. В середине 1990-х годов при церкви появилась часовня.

В 2011-2013 годах провели реставрацию монументальной живописи на куполе, укрепили штукатурку, удалили цементные и гипсовые вставки, провели дезинфекцию, заделали трещины и воссоздали живопись.

В 2013 году во время реставрации историки и краеведы обнаружили, что некоторые могилы были разграблены в 1930-1950-х годах. Сотрудники Института археологии РАН обследовали мемориал и собрали останки. В 2014 году в храме был открыт воссозданный склеп генерала Алексея Петровича Ермолова и его семьи. Мемориал был отреставрирован и приведен к первоначальному виду.

На воинском кладбище рядом с церковью похоронены солдаты, павшие в боях за освобождение Орла в 1943 году.