В 1864 году был основан Ярославский естественно-исторический музей, в который вошли коллекции по ботанике, зоологии, минералогии и геологии. В 1881 году он стал доступен для широкой публики. В 1895 году благодаря Ярославской губернской учёной архивной комиссии был создан музей культурно-исторического профиля, известный как Древлехранилище. В 1909 году появилось Ярославское художественное общество, объединявшее художников, преподавателей Демидовского лицея и краеведов. Оно организовывало выставки, выпускало альбомы по архитектурным памятникам Ярославля и проводило лекции по изобразительному искусству, стремясь создать художественный музей или галерею. В 1913 и 1914 годах Санкт-Петербургская Академия художеств передала фонду 14 произведений русских мастеров, а к 1918 году их стало около 30. Коллекция пополнялась произведениями с местных выставок и дарами частных лиц, хранившимися в Древлехранилище Ярославской губернской архивной комиссии.

С приходом советской власти начался новый этап в развитии музейного дела в России. В ноябре 1917 года при Наркомпросе была создана Всероссийская коллегия по делам музеев и охране памятников искусства и старины. Музеи стали выполнять идеологическую функцию, формируя мировоззрение нового советского человека. В 1919 году здание бывшей Духовной консистории, построенное в 1815 году архитектором Л. Руски, было передано под галерею. В 1919 и 1924 годах галерея находилась в ведении Ярославского губернского подотдела по делам музеев. В её собрание вошла коллекция, сформированная ярославскими общественными организациями до революции. Во время Ярославского восстания здание галереи сильно пострадало и нуждалось в ремонте. В марте 1920 года часть собрания была выставлена в Ярославской Большой мануфактуре. Галерея комплектовала как классическое искусство, так и произведения современных художников начала XX века. В 1922 году музей получил статус Музея древнерусского искусства, его фонд пополнился за счет разграбленных в июле 1918 года ярославских церквей и закрывающихся храмов. В 1924 году музеи Ярославля объединились в Ярославский государственный областной музей, включавший Естественно-исторический музей, Музей истории и быта, Музей книги, научную библиотеку, Художественную галерею и Музей древнерусского искусства. Это позволило объединить усилия специалистов, не ущемляя специализации музеев. Художественная галерея и музей древнерусского искусства стали единым организмом, объединяющим художественный фонд Ярославля.

Регистрация посетителей галереи началась в 1922 году и к 1928 году насчитывала более 40 тысяч человек. Развивались все направления музейной деятельности: научно-исследовательская, реставрационная, экспозиционно-выставочная, пропагандистско-воспитательная, экскурсии, лекции и практические занятия со студентами. При А. И. Малыгине, руководившем галереей до 1929 года, вокруг неё сплотились все художественные силы города. Тогда же сложилась экспозиция русского искусства XVIII века и первых десятилетий XX века. В 1927 году из Госмузейного фонда было получено 56 произведений. К началу 1928 года коллекция насчитывала около 1600 экспонатов: 335 картин, 149 акварелей и рисунков, 874 гравюры и литографии, 34 скульптуры и 194 предмета прикладного искусства.

Во второй половине 1920-х годов в Ярославле начались проверки Главполитпросвета и гонения на старых специалистов. С января 1929 года по март 1936 года Ярославль входил в состав Ивановской промышленной области. Статус Ярославского музея менялся трижды, что негативно сказалось на его развитии. Были уволены ценные сотрудники, а собрание перевезли в помещение исторического музея. В 1930 и 1931 годах коллекция была закрыта для публики. В 1932 году музей стал Ярославским областным краеведческим музеем, а галерея существовала как его отдел. Ей поручили формировать коллекцию произведений соцреализма. В новой экспозиции художественного отдела, размещенной в залах бывших Митрополичьих палат, до 1936 года выставлялись произведения разных направлений, но искусство XIX века подавалось как империалистическое, а работы футуристов XX века, как чуждые социалистической идеологии.

В марте 1936 года было решено восстановить Ярославскую область. В 1937 году галерея получила статус самостоятельного Ярославского областного музея искусств. В 1941 и 1945 годах музей практически не функционировал из-за Великой Отечественной войны. В 1936 году начались репрессии, и в музей поступили списки авторов, чьи произведения должны были быть изъяты. Под репрессии попали многие художники, такие как А. М. Кадак, Н. П. Евдокимов и С. В. Щеглов. Их работы почти исчезли, но некоторые произведения сотрудники музея скрыли в запасниках. В 1980-е годы в коллекцию были введены работы репрессированных художников, таких как Ф. И. Весели, Б. А. Петрухин и А. А. Державин. Во время войны музей был закрыт, здание передано Военному ведомству, а коллекцию частично эвакуировали. После войны музей возобновил выставочную деятельность. В июне 1946 года открылась постоянная экспозиция русского искусства, а в ноябре, залы искусства советского периода. С конца 1940-х годов музей стали называть художественным, а в 1950 году это было официально закреплено.

В 1953 году художественные музеи, включая Ярославский, перешли в ведение Управления изобразительных искусств и охраны памятников Министерства культуры РСФСР. Им поручили демонстрировать русское и советское реалистическое искусство. В 1950-е годы в музее появился реставратор Елена Павловна Юдина, ставшая первым квалифицированным специалистом по реставрации живописи в Ярославле. Она спасла множество произведений, воспитала учеников и в 1971 году создала отдел научной реставрации. Экспозиция отражала развитие отечественного искусства с XVIII века до середины 1950-х годов. Коллекция советского периода была слабой, а изъятие работ репрессированных художников уменьшило её. В 1956 году был издан путеводитель В. П. Митрофанова, а в 1950-е и начале 1960-х годов составлено описание около 1300 музейных предметов. На этой основе выпустили первый иллюстрированный каталог музея.

В конце 1950-х годов коллекция переехала в помещения бывшего Спасо-Преображенского монастыря. На тот момент собрание включало 745 единиц живописи, 2768 графики и 116 скульптуры. В 1959 году был образован Государственный Ярославо-Ростовский историко-архитектурный и художественный музей-заповедник, объединивший музеи Ярославля и Ростова, включая областной художественный музей. Это ограничивало его развитие и тормозило пополнение коллекции. К концу 1960-х годов появилась идея вернуть самостоятельность художественному собранию, и в 1969 году музей получил самостоятельный статус. В 1970 году ему выделили особняк на Волжской набережной, где коллекция экспонируется и сейчас. Основную часть коллекции удалось сохранить, и получение самостоятельного статуса открыло перед музеем новые перспективы.