Алексей Сергеевич Ермолов родился в Тифлисе 24 ноября 1847 года в семье Сергея Николаевича Ермолова и Марии Григорьевны, урожденной Гежелинской. После окончания Императорского Александровского лицея он начал работать в департаменте сельского хозяйства Министерства государственных имуществ и одновременно изучал сельскохозяйственные науки в Санкт-Петербургском земледельческом институте, где получил степень кандидата сельского хозяйства.

Ермолов был назначен старшим редактором статистического отдела департамента и членом ученого комитета Министерства. Он возглавил экспедицию по исследованию овцеводства в России, результаты которой были опубликованы под его редакцией. В 1883 году Ермолов стал директором департамента неокладных сборов Министерства финансов, где способствовал укреплению связи между винокурением и земледелием, что было закреплено законом 1890 года.

В 1892 году Ермолов был назначен товарищем министра финансов, а в 1893 году стал управляющим Министерством государственных имуществ. На него была возложена задача преобразования этого министерства в Министерство земледелия, что он успешно осуществил. Историк И. И. Воронов отмечал, что Ермолов был наиболее компетентным, но наименее влиятельным министром в истории Министерства земледелия. Он возглавлял Министерство до его преобразования в 1905 году.

Ермолов уделял внимание сельскохозяйственному образованию, кустарной промышленности, улучшению казенных минеральных вод и культивированию участков на черноморском побережье Кавказа. В 1886 и 1888 годах он был вице-президентом Императорского Вольного экономического общества и публиковал статьи в специализированных изданиях.

В 1902 году Ермолов стал председателем комитета по развитию Черноморского побережья. Он также возглавлял Центральный Комитет по оказанию помощи населению, пострадавшему от неурожая в 1906-1907 годах. В 1908 году представлял Россию в международном сельскохозяйственном институте в Риме и инициировал создание русско-бельгийской и русско-итальянской торговых палат.

С 1906 года и до своей смерти Ермолов был попечителем Императорского Александровского лицея. В своей книге «Организация сельского хозяйства» он предложил решения для крестьянских севооборотов, что оказало влияние на немецких аграрных теоретиков.

Ермолов применял свои знания в усадьбе Большая Алешня под Ряжском, где устроил конный завод. В 1896 году он поддержал строительство Приморско-Сестрорецкой железной дороги и курорта в устье реки Сестры. Он выделял землю на побережье Финского залива для благотворительных учреждений.

В Сестрорецке его именем названы проспект, пансионат, церковь, театр и пляж. Местность вдоль проспекта называлась Ермоловка, и переименования обошли эти места стороной.