После начала Первой мировой войны Азеф потерял все свои сбережения, так как они были вложены в российские ценные бумаги. Чтобы как-то выжить, он открыл корсетную мастерскую в Берлине. В июне 1915 года его арестовала немецкая полиция за то, что он был бывшим русским секретным агентом. Он находился в тюрьме Моабит и был освобождён только в декабре 1917 года.

Во время заключения Азеф заболел и 24 апреля 1918 года скончался от почечной недостаточности в берлинской клинике «Krankenhaus Westend». Его похоронили в Берлине на Вильмерсдорфском кладбище в безымянной могиле под номером 446. По некоторым сведениям, это захоронение сохранилось до наших дней.