Alexander Evgenievich Fersman nació el 27 de octubre de 1883 en San Petersburgo. Su padre, Evgeny Alexandrovich Fersman, fue arquitecto militar y profesor, participó en la campaña turca. Su madre, Maria Eduardovna, era artista y músico, provenía de la familia del general E. F. Kessler. Su abuelo, Alexander Fyodorovich Fersman, fue un científico artillero. Alexander tenía una hermana mayor, Vera Evgenievna, nacida en 1881.

Desde los seis años, Alexander se interesó por la mineralogía, visitando el laboratorio de su tío, el profesor A. E. Kessler, en la finca Kessler cerca de Simferopol. En 1895, ingresó al tercer grado del cuarto gimnasio de Odesa, pero en 1896 salió de él y continuó su educación en casa. En 1898 volvió a ingresar al gimnasio y se graduó en 1901 con medalla de oro. En su certificado de madurez del 1 de junio de 1901, tenía excelentes calificaciones en muchas materias, excepto en geografía y Ley de Dios. Durante su tiempo de estudio, visitó el balneario en Karlovy Vary 11 veces, donde su madre se trataba.

Desde 1901, Fersman estudió en la sección de ciencias del departamento de física y matemáticas de la Universidad Imperial del Nuevo Rusia en Odesa, también asistió a un curso de historia del arte. Su interés por la geología y la química fue fomentado por el profesor P. G. Melikishvili. El 28 de agosto de 1903, fue admitido en el departamento de física y matemáticas de la Universidad de Moscú, donde se convirtió en alumno de V. I. Vernadsky y asistió a su círculo de mineralogía. Los primeros trabajos científicos de Fersman se dedicaron a los minerales de Crimea.

Después de graduarse de la universidad en 1907, fue dejado en el departamento de mineralogía para prepararse para el título de profesor. En 1907 y 1909, Fersman realizó una pasantía científica en Alemania, estudiando en la Universidad de Heidelberg, investigó diamantes naturales y escribió una monografía sobre diamantes. En 1908, viajó por Francia e Italia.

Desde el 14 de septiembre de 1909, Fersman comenzó a trabajar como asistente no remunerado en el Gabinete Mineralógico de la Universidad de Moscú. A finales de 1911, renunció junto con otros profesores en protesta contra la política del Ministerio de Educación Pública y ocupó el cargo de profesor en la Universidad Popular A. L. Shanyavsky.

Desde 1912, Fersman trabajó en la Academia de Ciencias, fue elegido conservador principal del Museo Geológico y Mineralógico en nombre de Pedro I. Realizó expediciones para enriquecer la colección del museo y fue director del museo en 1919 y 1930. Al mismo tiempo, desde 1912, enseñó mineralogía en los Cursos Superiores de Mujeres Bestuzhev.

Durante la Primera Guerra Mundial, Fersman fue secretario de la Comisión para el Estudio de las Fuerzas Productivas Naturales del país y fue al frente. En 1915, fue elegido miembro del Comité de Suelos Dokuchaev. El 1 de febrero de 1919, Fersman fue elegido miembro correspondiente de la Academia Rusa de Ciencias.

En 1920, se convirtió en uno de los iniciadores de la creación del Parque Nacional Ilmen. En 1922, realizó una revisión del Fondo de Diamantes, estudiando las famosas piedras históricas. Fersman ocupó numerosos cargos en la Academia de Ciencias, incluyendo director del Instituto de Tecnología Arqueológica y del Instituto de Radio.

Fersman trabajó en expediciones en Transbaikalia, estudiando varios depósitos. Fue organizador de expediciones geológicas complejas, descubriendo el depósito de cobre-níquel de Monchegorsk y los depósitos de apatito de Khibiny. En el trabajo científico de Fersman se destacan tres direcciones: topomineralogía, estudio del proceso de pegmatita y geoquímica.

En 1932, creó la filial de los Urales de la Academia de Ciencias de la URSS y el Instituto de Geoquímica, Mineralogía y Cristalografía. Durante la guerra, Fersman ocupó los cargos de presidente de la Comisión de Servicio Geológico y Geográfico del Ejército Rojo y director del Instituto de Ciencias Geológicas. En 1943, publicó su libro "Geología y guerra".

En mayo de 1943, Fersman cayó gravemente enfermo, pero su salud mejoró hacia finales de año. En diciembre de 1944, fue tratado por hipertensión. Alexander Evgenievich Fersman falleció de una hemorragia cerebral el 20 de mayo de 1945 en Sochi. Fue enterrado en el cementerio Novodevichy en Moscú, donde en 1965 se erigió un monumento en su tumba.