Après le début de la Première Guerre mondiale, Azef a perdu toutes ses économies, car elles étaient investies dans des titres russes. Pour survivre, il a ouvert un atelier de corsets à Berlin. En juin 1915, il a été arrêté par la police allemande pour avoir été un ancien agent secret russe. Il a été emprisonné à la prison de Moabit et n'a été libéré qu'en décembre 1917.

Pendant son incarcération, Azef est tombé malade et est décédé le 24 avril 1918 d'une insuffisance rénale à la clinique berlinoise « Krankenhaus Westend ». Il a été enterré à Berlin au cimetière de Wilmersdorf dans une tombe anonyme sous le numéro 446. Selon certaines informations, cette sépulture a survécu jusqu'à nos jours.