Коллекция Художественного музея начала складываться в 1895 году как часть историко-археологического музея Симбирской губернской учёной архивной комиссии. После революции 1917 года в музей вошли национализированные коллекции симбирских дворян, промышленников и купцов, таких как В. Н. Поливанов, Е. М. Перси-Френч, А. В. Жиркевич, В. П. Мещеринов и Н. Я. Шатров.

В 1920 году музей стал независимым учреждением и первоначально размещался в бывшем доме помещицы Перси-Френч. В 1932 году его перевели в Дом-памятник Гончарову, где он занял второй этаж, а на первом этаже расположился Ульяновский областной краеведческий музей имени И.А. Гончарова.

В 1920-1930-е годы музей активно пополнялся экспонатами из Государственного музейного фонда, Пушкинского Дома Академии наук и Государственного Эрмитажа. Сейчас фонды музея насчитывают около 11 607 единиц хранения.

В коллекции музея представлены уникальные произведения русской и западноевропейской живописи, скульптуры и графики XVI-XX веков. Среди шедевров западноевропейского искусства, определяющих уникальность коллекции, можно выделить работы выдающихся мастеров Франции, Испании и Голландии XVI-XVII веков, таких как Н. де Ларжильер, Я. В. Скорел, Х. де Вальдес Леаль, К. Кейнинк и Д. Тенирс.

Гордостью музея являются картины Д. Левицкого, Ф. Рокотова, В. Боровиковского, К. Брюллова и А. Иванова. Уникальна также коллекция усадебных портретов, созданных крепостными мастерами Симбирской губернии. Отдел декоративно-прикладного искусства включает античную керамику IV-III веков до н. э., фарфор из России, Германии и Франции, художественную мебель, а также русское и западноевропейское стекло. Музей обладает значительными монографическими коллекциями, которые позволяют полноценно представить творчество К. Брюллова, В. Худякова и ульяновских художников, таких как А. Пластов и Д. Архангельский.