В 1792 году в Крестовоздвиженском приходе Арзамаса построили теплую церковь в честь Казанской иконы Божией Матери, поскольку здесь находился чудотворный образ, найденный горожанами в 1643 году. Историк-краевед Н. М. Щегольков упоминал, что в 1643 году в Арзамас была перенесена и прославлена чудотворная икона Казанской Божией Матери, которая теперь находится в Крестовоздвиженской церкви. Летом того года из-за длительной засухи был организован крестный ход вокруг города. Утром в день шествия прихожане Крестовоздвиженской церкви, во время литургии, заметили проходящего мимо инока Даниила с большой иконой Казанской Божьей Матери. Они спросили его, куда он несет икону, на что Даниил ответил, что в монастырь Живоначальной Троицы, который находился на месте нынешней церкви Святого Духа. Однако прихожане уговорили его оставить икону в их церкви. Новость быстро распространилась, и игумен Спасского монастыря, схимонах Феодосий, велел крестному ходу сначала посетить Крестовоздвиженскую церковь. Там перед новопринесенной иконой был совершен молебен, после чего икона участвовала в крестном ходе. Когда процессия достигла погоста церкви Илии Пророка, икона проявила чудо: от нее исходил свет и истекло миро, а затем пошел дождь.

К 1860 году при церкви действовало приходское училище, в 1862 году открылась публичная духовная библиотека, а в 1889 году, первая в Арзамасе церковно-приходская школа.

Весной 1929 года Крестовоздвиженскую церковь разобрали на кирпичи по решению городского совета. С июня того же года в Казанской церкви разместился дом Санпросвета. В ноябре 1945 года туда переехал Дом пионеров, а позже, служба бытового обслуживания населения.

4 ноября 2003 года Казанский храм был возвращен Нижегородской епархии. Первое богослужение состоялось накануне Рождества Христова, 6 января 2004 года. 16 января 2011 года храм был освящен архиерейским чином.