В 1896 году в Нижнем Новгороде состоялась Всероссийская промышленно-художественная выставка, после которой в городе было создано отделение Технического общества. Оно занялось проектом железной дороги между Нижним Новгородом и Казанью. Чтобы избежать строительства моста через Оку, пути решили проложить по береговой террасе. Место для вокзала выбрали на правом берегу Оки, напротив Московского вокзала, у пристани мельниц Дегтярёвых и Башкировых.

Строительство вокзала велось с 1900 по 1904 годы под руководством Григория Будагова, при участии Общества Московско-Казанской железной дороги. Известный фотограф Максим Дмитриев запечатлел внешний вид нового вокзала.

Первоначально вокзал назвали в честь посёлка Ромоданово в Мордовии, связанного с князьями Ромодановскими. В 1930-е годы он был переименован сначала в Арзамасский, а затем, когда поезда стали ходить до Казани, в Казанский.

До 1945 года вокзал принадлежал Московско-Казанской железной дороге, затем перешёл под управление Горьковской железной дороги. Полотно проходило через опасную горную местность, где часто случались оползни. Для их предотвращения вручную пробивали дренажные штольни, самая глубокая из которых достигала 1,5 километра.

В 1961 году был построен Сартаковский железнодорожный мост через Оку, и поезда дальнего следования стали ходить через него до Московского вокзала. Казанский вокзал стал пригородным, и часть его помещений отдали для обучения студентов-железнодорожников.

В феврале 1974 года из-за оползней железная дорога от станции Мыза до Казанского вокзала была перекрыта, и Ромодановскую станцию закрыли. Полотно на этом участке разобрали, а здание вокзала начало приходить в упадок. Сначала его покинули студенты, затем рабочие.

В 1993 году здание вокзала признали архитектурным памятником, но оно продолжало ветшать. В 2003 году фирма «Новакард» выкупила его и вложила около миллиона долларов в восстановление. Реконструкцией руководил Виктор Зубков, используя фотографии Дмитриева и старые чертежи. Купол переделывали трижды, чтобы он соответствовал оригиналу. В том же году «Новакард» переехала в здание вокзала. Авторы реконструкции получили бронзовый диплом на международном фестивале «Зодчество-2005».