Александр Евгеньевич Ферсман родился 27 октября 1883 года в Санкт-Петербурге. Его отец, Евгений Александрович Ферсман, был военным архитектором и профессором, участвовал в Турецкой кампании. Мать, Мария Эдуардовна, была художником и музыкантом, происходила из семьи генерала Э. Ф. Кесслера. Дед, Александр Фёдорович Ферсман, был учёным-артиллеристом. У Александра была старшая сестра Вера Евгеньевна, родившаяся в 1881 году.

С шести лет Александр увлёкся минералогией, посещая лабораторию своего дяди, профессора А. Э. Кесслера, в имении Кесслеров близ Симферополя. В 1895 году он поступил в 3-й класс Одесской 4-й гимназии, но в 1896 году вышел из неё и продолжил обучение дома. В 1898 году снова поступил в гимназию и окончил её в 1901 году с золотой медалью. В аттестате зрелости от 1 июня 1901 года он имел отличные оценки по многим предметам, кроме географии и Закона Божьего. За время учёбы он 11 раз посещал курорт в Карлсбаде, где лечилась его мать.

С 1901 года Ферсман учился на естественном отделении физико-математического факультета Императорского Новороссийского университета в Одессе, также прослушал курс истории искусства. Интерес к геологии и химии ему привил профессор П. Г. Меликишвили. 28 августа 1903 года он был зачислен на физико-математический факультет Московского университета, где стал учеником В. И. Вернадского и посещал его кружок по минералогии. Первые научные работы Ферсмана были посвящены минералам Крыма.

После окончания университета в 1907 году он был оставлен на кафедре минералогии для подготовки к профессорскому званию. В 1907 и 1909 годах Ферсман проходил научную стажировку в Германии, занимался в Гейдельбергском университете, исследовал природные алмазы и написал монографию об алмазах. В 1908 году он путешествовал по Франции и Италии.

С 14 сентября 1909 года Ферсман начал работать сверхштатным ассистентом при Минералогическом кабинете Московского университета. В конце 1911 года он уволился вместе с другими преподавателями в знак протеста против политики Министерства народного просвещения и занял должность профессора в Народном университете им. А. Л. Шанявского.

С 1912 года Ферсман работал в Академии наук, был избран старшим хранителем Геологического и минералогического музея имени Петра I. Он выезжал в экспедиции для пополнения коллекции музея и был директором музея в 1919 и 1930 годах. Одновременно с 1912 года он преподавал минералогию на Бестужевских высших женских курсах.

Во время Первой мировой войны Ферсман был секретарём Комиссии по изучению естественных производительных сил страны и выезжал на фронт. В 1915 году он был избран членом Докучаевского почвенного комитета. 1 февраля 1919 года Ферсман был избран действительным членом Российской академии наук.

В 1920 году он стал одним из инициаторов создания Ильменского государственного заповедника. В 1922 году провёл ревизию Алмазного Фонда, изучив знаменитые исторические камни. Ферсман занимал множество должностей в Академии наук, включая директора Института археологической технологии и Радиевого института.

Ферсман работал в экспедициях в Забайкалье, изучая различные месторождения. Он был организатором комплексных геологических экспедиций, открыв Мончегорское медно-никелевое месторождение и Хибинские месторождения апатита. В научной работе Ферсмана выделяются три направления: топоминералогия, исследование пегматитового процесса и геохимия.

В 1932 году он создал Уральский филиал Академии наук СССР и Институт геохимии, минералогии и кристаллографии. Во время войны Ферсман занимал должности председателя Комиссии по геолого-географическому обслуживанию Красной армии и директора Института геологических наук. В 1943 году вышла его книга «Геология и война».

В мае 1943 года Ферсман тяжело заболел, но его здоровье улучшилось к концу года. В декабре 1944 года он лечился от гипертонии. Александр Евгеньевич Ферсман скончался от кровоизлияния в мозг 20 мая 1945 года в Сочи. Похоронен на Новодевичьем кладбище в Москве, где в 1965 году был открыт памятник на его могиле.