Всесвятский храм находится на территории городского кладбища «Марьина Роща», созданного в 1939 году на окраине города, в одноименном лесном массиве.

Это место известно с XVII века и в документах того времени упоминается как «пустошь Марьино». По легенде, здесь обитала атаманша Марья, занимавшаяся разбоем на дороге в Москву. В 1965 году здесь был открыт мемориал воинской славы в честь солдат, умерших в госпиталях города во время Великой Отечественной войны 1941-1945 годов. На кладбище покоятся многие деятели науки и искусства, а также видные военачальники Нижнего Новгорода. По некоторым данным, здесь также находятся могилы священнослужителей.

В 1997 году на кладбище был открыт мемориал в память о нижегородских воинах, погибших 6 марта 1996 года в Чечне и похороненных в Марьиной Роще.

В 2002 году появился мемориал в память о моряках-подводниках, трагически погибших на атомной подводной лодке «Курск» в августе 2000 года и захороненных здесь.

Строительство храма началось в 1997 году, вдохновленное трагическими событиями в Чечне, когда 6 марта 1996 года в бою погибли 10 сотрудников Волго-Вятского РУБОП. Родные и сослуживцы решили увековечить их память, построив церковь.

Во главе инициативной группы стояла В. А. Кудрявцева, мать одного из погибших. В 1998 году был заложен первый камень, а 25 декабря 1999 года храм освятили. Изначально храм был небольшим, с площадью 36 кв. м, и не вмещал всех желающих. Усилиями попечительского совета, в который вошли известные горожане и предприниматели, к празднику Всех Святых в 2001 году был построен притвор, и богослужения стали проводиться в более просторном помещении.

Звонница, состоящая из восьми колоколов весом от 8 до 500 килограммов, была расширена и соединена с храмом.

К ноябрю 2002 года завершилась роспись стен молельного зала под руководством художника-реставратора Н. Е. Юшкова. Фасад храма украсили керамические иконы, созданные народным художником России В. П. Гришиным.