Después del inicio de la Primera Guerra Mundial, Azef perdió todos sus ahorros, ya que estaban invertidos en valores rusos. Para sobrevivir, abrió un taller de corsetería en Berlín. En junio de 1915, fue arrestado por la policía alemana por ser un exagente secreto ruso. Estuvo en la prisión de Moabit y fue liberado solo en diciembre de 1917.

Durante su encarcelamiento, Azef enfermó y el 24 de abril de 1918 falleció de insuficiencia renal en la clínica berlinesa "Krankenhaus Westend". Fue enterrado en Berlín en el cementerio de Wilmersdorf en una tumba anónima con el número 446. Según algunos informes, esta sepultura se ha mantenido hasta nuestros días.