Alexander Jewgenjewitsch Fersman wurde am 27. Oktober 1883 in Sankt Petersburg geboren. Sein Vater, Jewgeni Alexandrowitsch Fersman, war Militärarchitekt und Professor und nahm an der Türkischen Kampagne teil. Die Mutter, Maria Eduardowna, war Künstlerin und Musikerin und stammte aus der Familie des Generals E. F. Kessler. Der Großvater, Alexander Fjodorowitsch Fersman, war Wissenschaftler und Artillerist. Alexander hatte eine ältere Schwester, Wera Jewgenjewna, die 1881 geboren wurde.

Mit sechs Jahren begeisterte sich Alexander für Mineralogie, indem er das Labor seines Onkels, Professor A. E. Kessler, im Gut Kessler bei Simferopol besuchte. 1895 trat er in die 3. Klasse des 4. Gymnasiums in Odessa ein, verließ es jedoch 1896 und setzte seine Ausbildung zu Hause fort. 1898 trat er erneut in das Gymnasium ein und schloss es 1901 mit einer goldenen Medaille ab. In seinem Reifezeugnis vom 1. Juni 1901 hatte er in vielen Fächern ausgezeichnete Noten, außer in Geographie und dem Gesetz Gottes. Während seiner Schulzeit besuchte er 11 Mal den Kurort in Karlsbad, wo seine Mutter behandelt wurde.

Ab 1901 studierte Fersman an der naturwissenschaftlichen Abteilung der physikalisch-mathematischen Fakultät der Kaiserlichen Neurussischen Universität in Odessa und hörte auch einen Kurs über Kunstgeschichte. Sein Interesse an Geologie und Chemie weckte Professor P. G. Melikischwili. Am 28. August 1903 wurde er an die physikalisch-mathematische Fakultät der Moskauer Universität aufgenommen, wo er Schüler von W. I. Wernadski wurde und seinen Mineralogie-Kreis besuchte. Fersmans erste wissenschaftlichen Arbeiten waren den Mineralien der Krim gewidmet.

Nach dem Abschluss der Universität im Jahr 1907 wurde er an der Abteilung für Mineralogie für die Vorbereitung auf den Professorentitel belassen. 1907 und 1909 absolvierte Fersman ein wissenschaftliches Praktikum in Deutschland, studierte an der Universität Heidelberg, erforschte natürliche Diamanten und schrieb eine Monographie über Diamanten. 1908 reiste er durch Frankreich und Italien.

Seit dem 14. September 1909 arbeitete Fersman als außerordentlicher Assistent im Mineralogischen Kabinett der Moskauer Universität. Ende 1911 trat er zusammen mit anderen Lehrern aus Protest gegen die Politik des Ministeriums für Volksbildung zurück und übernahm eine Professur an der Volkshochschule A. L. Schanjawski.

Seit 1912 arbeitete Fersman an der Akademie der Wissenschaften und wurde zum leitenden Kurator des Geologischen und Mineralogischen Museums von Peter I. gewählt. Er unternahm Expeditionen zur Ergänzung der Sammlung des Museums und war 1919 und 1930 Direktor des Museums. Gleichzeitig unterrichtete er seit 1912 Mineralogie an den Bestuschew-Hochschulen für Frauen.

Während des Ersten Weltkriegs war Fersman Sekretär der Kommission zur Erforschung der natürlichen Produktionskräfte des Landes und reiste an die Front. 1915 wurde er zum Mitglied des Dokutschaev-Bodenausschusses gewählt. Am 1. Februar 1919 wurde Fersman zum ordentlichen Mitglied der Russischen Akademie der Wissenschaften gewählt.

Im Jahr 1920 wurde er einer der Initiatoren der Gründung des Ilmen-Staatsschutzgebiets. 1922 führte er eine Revision des Diamantenfonds durch und untersuchte die berühmten historischen Steine. Fersman hatte zahlreiche Positionen in der Akademie der Wissenschaften inne, darunter Direktor des Instituts für archäologische Technologie und des Radiuminstituts.

Fersman arbeitete in Expeditionen in Transbaikalien und untersuchte verschiedene Lagerstätten. Er war Organisator komplexer geologischer Expeditionen, entdeckte das Monchegorsk Kupfer-Nickel-Lager und die Khibiny-Apatit-Lagerstätten. In Fersmans wissenschaftlicher Arbeit lassen sich drei Richtungen unterscheiden: Topomineralogie, Untersuchung des Pegmatitprozesses und Geochemie.

Im Jahr 1932 gründete er die Ural-Niederlassung der Akademie der Wissenschaften der UdSSR und das Institut für Geochemie, Mineralogie und Kristallographie. Während des Krieges hatte Fersman die Positionen des Vorsitzenden der Kommission für geologisch-geografische Dienstleistungen der Roten Armee und Direktor des Instituts für geologische Wissenschaften inne. 1943 erschien sein Buch "Geologie und Krieg".

Im Mai 1943 erkrankte Fersman schwer, aber seine Gesundheit besserte sich bis zum Ende des Jahres. Im Dezember 1944 ließ er sich wegen Hypertonie behandeln. Alexander Jewgenjewitsch Fersman starb am 20. Mai 1945 in Sotschi an einer Gehirnblutung. Er wurde auf dem Nowodewitschi-Friedhof in Moskau beigesetzt, wo 1965 ein Denkmal auf seinem Grab errichtet wurde.