Alexeï Sergeïevitch Ermolov est né à Tiflis le 24 novembre 1847 dans la famille de Sergueï Nikolaïevitch Ermolov et de Maria Grigorievna, née Gjezelinskaïa. Après avoir terminé le lycée impérial Alexandre, il a commencé à travailler au département de l'agriculture du ministère des Biens d'État tout en étudiant les sciences agricoles à l'institut agricole de Saint-Pétersbourg, où il a obtenu le diplôme de candidat en agriculture.

Ermolov a été nommé rédacteur en chef du département des statistiques du ministère et membre du comité scientifique du ministère. Il a dirigé une expédition pour étudier l'élevage ovin en Russie, dont les résultats ont été publiés sous sa direction. En 1883, Ermolov est devenu directeur du département des taxes non fiscales du ministère des Finances, où il a contribué à renforcer le lien entre la viticulture et l'agriculture, ce qui a été confirmé par la loi de 1890.

En 1892, Ermolov a été nommé vice-ministre des Finances, et en 1893, il est devenu directeur du ministère des Biens d'État. Il a été chargé de transformer ce ministère en ministère de l'Agriculture, ce qu'il a réussi. L'historien I. I. Voronov a noté qu'Ermolov était le ministre le plus compétent mais le moins influent de l'histoire du ministère de l'Agriculture. Il a dirigé le ministère jusqu'à sa transformation en 1905.

Ermolov a accordé une attention particulière à l'éducation agricole, à l'industrie artisanale, à l'amélioration des eaux minérales d'État et à la culture de parcelles sur la côte de la mer Noire du Caucase. En 1886 et 1888, il a été vice-président de la Société économique libre impériale et a publié des articles dans des revues spécialisées.

En 1902, Ermolov est devenu président du comité pour le développement de la côte de la mer Noire. Il a également dirigé le Comité central d'aide à la population touchée par la famine en 1906-1907. En 1908, il a représenté la Russie à l'institut agricole international à Rome et a initié la création de chambres de commerce russo-belges et russo-italiennes.

Depuis 1906 et jusqu'à sa mort, Ermolov a été le bienfaiteur du lycée impérial Alexandre. Dans son livre « Organisation de l'agriculture », il a proposé des solutions pour les rotations des cultures paysannes, ce qui a influencé les théoriciens agricoles allemands.

Ermolov a appliqué ses connaissances dans le domaine de la grande propriété de Bolchaïa Aleshnia près de Riazansk, où il a établi un haras. En 1896, il a soutenu la construction de la ligne de chemin de fer Primorsko-Sestroretsk et d'une station balnéaire à l'embouchure de la rivière Sistra. Il a attribué des terres sur la côte du golfe de Finlande à des établissements de bienfaisance.

À Sestroretsk, une avenue, un pensionnat, une église, un théâtre et une plage portent son nom. La région le long de l'avenue était appelée Ermolovka, et les changements de nom ont contourné ces lieux.