Nach Beginn des Ersten Weltkriegs verlor Azef all seine Ersparnisse, da sie in russische Wertpapiere investiert waren. Um irgendwie zu überleben, eröffnete er eine Korsettwerkstatt in Berlin. Im Juni 1915 wurde er von der deutschen Polizei verhaftet, weil er ein ehemaliger russischer Geheimagent war. Er befand sich im Gefängnis Moabit und wurde erst im Dezember 1917 entlassen.

Während seiner Haft erkrankte Azef und starb am 24. April 1918 an Nierenversagen in der Berliner Klinik "Krankenhaus Westend". Er wurde in Berlin auf dem Wilmersdorfer Friedhof in einem anonymen Grab mit der Nummer 446 beigesetzt. Nach einigen Berichten soll diese Grabstätte bis heute erhalten geblieben sein.