Alexej Sergejewitsch Ermolo wurde am 24. November 1847 in Tiflis als Sohn von Sergej Nikolajewitsch Ermolo und Maria Grigorjewna, geborene Ghezhelinskaja, geboren. Nach dem Abschluss des Kaiserlichen Alexander-Lyzeums begann er im Landwirtschaftsdepartement des Ministeriums für Staatsvermögen zu arbeiten und studierte gleichzeitig Agrarwissenschaften am St. Petersburger Landwirtschaftsinstitut, wo er den Grad eines Kandidaten der Landwirtschaft erwarb.

Ermolo wurde zum leitenden Redakteur der statistischen Abteilung des Departements und Mitglied des Wissenschaftlichen Ausschusses des Ministeriums ernannt. Er leitete eine Expedition zur Erforschung der Schafzucht in Russland, deren Ergebnisse unter seiner Redaktion veröffentlicht wurden. 1883 wurde Ermolo Direktor des Departements für nichtsteuerliche Abgaben im Finanzministerium, wo er die Verbindung zwischen Weinbau und Landwirtschaft stärkte, was durch das Gesetz von 1890 festgelegt wurde.

1892 wurde Ermolo zum Stellvertreter des Finanzministers ernannt, und 1893 wurde er Leiter des Ministeriums für Staatsvermögen. Ihm wurde die Aufgabe übertragen, dieses Ministerium in das Landwirtschaftsministerium umzuwandeln, was ihm erfolgreich gelang. Der Historiker I. I. Worono bemerkte, dass Ermolo der kompetenteste, aber der einflussloseste Minister in der Geschichte des Landwirtschaftsministeriums war. Er leitete das Ministerium bis zu seiner Umwandlung im Jahr 1905.

Ermolo widmete sich der landwirtschaftlichen Bildung, der Kleinindustrie, der Verbesserung staatlicher Mineralquellen und der Kultivierung von Flächen an der Schwarzmeerküste des Kaukasus. In den Jahren 1886 und 1888 war er Vizepräsident der Kaiserlichen Freien Wirtschaftsgesellschaft und veröffentlichte Artikel in Fachzeitschriften.

Im Jahr 1902 wurde Ermolo Vorsitzender des Komitees zur Entwicklung der Schwarzmeerküste. Er leitete auch das Zentrale Komitee zur Hilfe für die von Missernten betroffenen Bevölkerung in den Jahren 1906-1907. 1908 vertrat er Russland im internationalen Landwirtschaftsinstitut in Rom und initiierte die Gründung der russisch-belgischen und russisch-italienischen Handelskammern.

Von 1906 bis zu seinem Tod war Ermolo Kurator des Kaiserlichen Alexander-Lyzeums. In seinem Buch "Organisation der Landwirtschaft" schlug er Lösungen für die Fruchtfolgen der Bauern vor, was Einfluss auf deutsche agrarische Theoretiker hatte.

Ermolo wandte sein Wissen in dem Gut Große Alešnja bei Rjaschsk an, wo er eine Pferdezucht einrichtete. 1896 unterstützte er den Bau der Primorsko-Sestrorjetskaja Eisenbahn und des Kurorts an der Mündung des Flusses Sistra. Er stellte Land an der Küste des Finnischen Meerbusens für wohltätige Einrichtungen zur Verfügung.

In Sestroretsk sind eine Allee, ein Sanatorium, eine Kirche, ein Theater und ein Strand nach ihm benannt. Das Gebiet entlang der Allee wurde Ermolo genannt, und die Umbenennungen umgingen diese Orte.