Нижегородский художественный музей является одним из старейших и первых общедоступных музеев в России. Его создание инициировали профессор Академии художеств Н.А. Кошелев, художник А.А. Карелин, сын известного фотографа, и местная творческая интеллигенция.

Музей был основан по решению Городской думы в 1894 году, что зафиксировано в протоколе заседания от 14 июля 1894 года, где обсуждалось создание художественного музея в Нижнем Новгороде. На тот момент в городе уже существовали три музея: Земский естественно-исторический, Епархиальное церковное древлехранилище при духовной семинарии и Петровский исторический музей.

Торжественное открытие художественного музея состоялось 25 июня 1896 года и было приурочено к XVI Всероссийской художественно-промышленной выставке в Нижнем Новгороде. В честь этого события были выпущены памятные медали: 25 серебряных и 300 бронзовых для участников и жертвователей. Среди первых посетителей, 19 июля 1896 года, были император Николай II и Александра Федоровна, которым подарили две золотые медали, специально изготовленные для них.

Изначально музей располагался в Дмитриевской башне Кремля и включал два отдела: исторический и художественный. В это же время в башне проходила выставка Общества художников исторической живописи, посвящённая Смутному времени, часть экспонатов которой была передана в дар новому музею.