Alexei Petrowitsch Jermolow wurde 1777 in Moskau geboren und stammte aus einer nicht wohlhabenden Adelsfamilie der Provinz Orjol. Seine Ausbildung erhielt er im Moskauer Universitätsinternat und schloss die Zweite Kadettenanstalt mit Auszeichnung ab. Ab 1792 begann Jermolow seinen Militärdienst und diente ab 1794 unter dem Kommando von Alexander Suworow. Er nahm an vielen bedeutenden Kriegen des Russischen Kaiserreichs teil, darunter dem Vaterländischen Krieg von 1812, den Kaukasus- und Russisch-Persischen Kriegen. Jermolow wurde in Orjol in der rechten Kapelle der Heilig-Troitz-Kirche beigesetzt.

Im Jahr 1991 wollten die Orjoler Heimatforscher das Denkmal Jermolows aus Grosny überführen, konnten dies jedoch nicht tun, da es von den Dudajew-Leuten zerstört wurde. Die Frage nach der Errichtung eines Reiterdenkmals für den General wurde mehrfach von den Orjoler Kosaken und Heimatforschern angesprochen. Ein Wettbewerb für das beste Projekt wurde organisiert, Mittel wurden gesammelt, und das Denkmal wurde beim Moskauer Bildhauer Ravil Jusupow in Auftrag gegeben, der das Bild des Kupferreiters aus St. Petersburg als Grundlage nahm.

Im Jahr 2002 wurde im Jermolow-Park ein Stein mit einer Gedenkinschrift über die bevorstehende Eröffnung des Denkmals aufgestellt. Nach dem Abbau des Steins und der Errichtung des Sockels wurde das Denkmal am 27. Juli 2012 eingeweiht. Es wurde von Erzbischof Antonij von Orjol und Liwen sowie von Hieromönch Iliya (Nosdrin) gesegnet. Das Denkmal wurde im Rahmen der Vorbereitungen zum 200. Jahrestag des Sieges im Vaterländischen Krieg von 1812 errichtet. Die Höhe des Denkmals beträgt fast fünfeinhalb Meter, der Sockel vier Meter. Die Gesamtkosten für die Herstellung, den Transport, die Installation des Denkmals und die Gestaltung des Geländes beliefen sich auf 19 Millionen Rubel.