Alexéi Serguéyevich Ermólov nació en Tiflis el 24 de noviembre de 1847 en la familia de Serguéi Nikoláyevich Ermólov y María Grigórievna, de soltera Ghezhelínskaia. Tras finalizar el Liceo Imperial Alexandrino, comenzó a trabajar en el departamento de agricultura del Ministerio de Bienes Estatales y, al mismo tiempo, estudió ciencias agrícolas en el Instituto Agrícola de San Petersburgo, donde obtuvo el título de candidato en agricultura.

Ermólov fue nombrado editor principal del departamento estadístico del ministerio y miembro del comité científico del Ministerio. Dirigió una expedición para investigar la cría de ovejas en Rusia, cuyos resultados fueron publicados bajo su edición. En 1883, Ermólov se convirtió en director del departamento de impuestos no fiscales del Ministerio de Finanzas, donde promovió el fortalecimiento de la conexión entre la vinificación y la agricultura, lo que fue consolidado por la ley de 1890.

En 1892, Ermólov fue nombrado compañero del ministro de finanzas, y en 1893 se convirtió en el administrador del Ministerio de Bienes Estatales. Se le encomendó la tarea de transformar este ministerio en el Ministerio de Agricultura, lo cual logró con éxito. El historiador I. I. Vorónov señaló que Ermólov fue el ministro más competente, pero el menos influyente en la historia del Ministerio de Agricultura. Dirigió el ministerio hasta su transformación en 1905.

Ermólov prestó atención a la educación agrícola, la industria artesanal, la mejora de las aguas minerales estatales y el cultivo de terrenos en la costa del Mar Negro en el Cáucaso. En 1886 y 1888, fue vicepresidente de la Sociedad Económica Libre Imperial y publicó artículos en revistas especializadas.

En 1902, Ermólov se convirtió en presidente del comité para el desarrollo de la costa del Mar Negro. También dirigió el Comité Central para ayudar a la población afectada por la mala cosecha en 1906-1907. En 1908, representó a Rusia en el instituto agrícola internacional en Roma e inició la creación de cámaras de comercio ruso-belgas y ruso-italianas.

Desde 1906 hasta su muerte, Ermólov fue patrono del Liceo Imperial Alexandrino. En su libro "Organización de la Agricultura", propuso soluciones para las rotaciones de cultivos de los campesinos, lo que influyó en los teóricos agrarios alemanes.

Ermólov aplicó sus conocimientos en la finca Gran Aléshnia cerca de Riazán, donde estableció un criadero de caballos. En 1896, apoyó la construcción del ferrocarril Primorsko-Sestrorétsk y del balneario en la desembocadura del río Sistra. Destinó tierras en la costa del Golfo de Finlandia para instituciones benéficas.

En Sestrorétsk, su nombre se ha dado a una avenida, un sanatorio, una iglesia, un teatro y una playa. La zona a lo largo de la avenida se llamaba Ermólovka, y los cambios de nombre evitaron estas áreas.