En 1864, le musée d'histoire naturelle de Yaroslavl a été fondé, incluant des collections en botanique, zoologie, minéralogie et géologie. En 1881, il est devenu accessible au grand public. En 1895, grâce à la Commission archivistique scientifique de la province de Yaroslavl, un musée de profil culturel et historique a été créé, connu sous le nom de Drevlekhranilishche. En 1909, la Société des beaux-arts de Yaroslavl a vu le jour, réunissant des artistes, des enseignants du lycée Demidov et des historiens locaux. Elle organisait des expositions, publiait des albums sur les monuments architecturaux de Yaroslavl et tenait des conférences sur les arts visuels, cherchant à créer un musée ou une galerie d'art. En 1913 et 1914, l'Académie des beaux-arts de Saint-Pétersbourg a transféré 14 œuvres d'artistes russes au fonds, et d'ici 1918, leur nombre avait atteint environ 30. La collection s'est enrichie d'œuvres provenant d'expositions locales et de dons de particuliers, conservés dans le Drevlekhranilishche de la Commission archivistique de la province de Yaroslavl.

Avec l'arrivée du pouvoir soviétique, une nouvelle étape a commencé dans le développement des musées en Russie. En novembre 1917, une Commission panrusse pour les musées et la protection des monuments d'art et d'antiquité a été créée au sein du Narcompros. Les musées ont commencé à jouer un rôle idéologique, formant la vision du monde de l'homme soviétique nouveau. En 1919, le bâtiment de l'ancienne Consistoire spirituelle, construit en 1815 par l'architecte L. Rouski, a été attribué à la galerie. En 1919 et 1924, la galerie était sous la direction du sous-département provincial des musées de Yaroslavl. Sa collection comprenait des œuvres formées par des organisations publiques de Yaroslavl avant la révolution. Pendant l'insurrection de Yaroslavl, le bâtiment de la galerie a été gravement endommagé et nécessitait des réparations. En mars 1920, une partie de la collection a été exposée à la Grande manufacture de Yaroslavl. La galerie a constitué une collection d'art classique ainsi que d'œuvres d'artistes contemporains du début du XXe siècle. En 1922, le musée a obtenu le statut de Musée d'art ancien russe, sa collection s'est enrichie grâce aux églises de Yaroslavl pillées en juillet 1918 et aux temples fermés. En 1924, les musées de Yaroslavl se sont unis pour former le Musée d'État de la province de Yaroslavl, incluant le musée d'histoire naturelle, le musée de l'histoire et de la vie quotidienne, le musée du livre, une bibliothèque scientifique, la galerie d'art et le musée d'art ancien russe. Cela a permis de rassembler les efforts des spécialistes sans nuire à la spécialisation des musées. La galerie d'art et le musée d'art ancien russe sont devenus un organisme unique, unissant le fonds artistique de Yaroslavl.

L'enregistrement des visiteurs de la galerie a commencé en 1922 et, en 1928, il comptait plus de 40 000 personnes. Tous les domaines d'activité muséale se sont développés : recherche scientifique, restauration, exposition, propagande éducative, visites guidées, conférences et cours pratiques pour les étudiants. Sous la direction d'A. I. Malyguine, qui a dirigé la galerie jusqu'en 1929, toutes les forces artistiques de la ville se sont rassemblées autour d'elle. À cette époque, l'exposition d'art russe du XVIIIe siècle et des premières décennies du XXe siècle a été constituée. En 1927, 56 œuvres ont été reçues du fonds d'État des musées. Au début de 1928, la collection comptait environ 1600 objets : 335 tableaux, 149 aquarelles et dessins, 874 gravures et lithographies, 34 sculptures et 194 objets d'art appliqué.

Dans la seconde moitié des années 1920, des vérifications du Glavpolitprosvet et des persécutions contre les anciens spécialistes ont commencé à Yaroslavl. De janvier 1929 à mars 1936, Yaroslavl faisait partie de la province industrielle d'Ivanovo. Le statut du musée de Yaroslavl a changé trois fois, ce qui a eu un impact négatif sur son développement. Des employés précieux ont été licenciés, et la collection a été transférée dans les locaux du musée historique. En 1930 et 1931, la collection a été fermée au public. En 1932, le musée est devenu le Musée régional de Yaroslavl, et la galerie a existé comme son département. On lui a confié la tâche de constituer une collection d'œuvres de réalisme socialiste. Dans la nouvelle exposition du département artistique, située dans les salles des anciens Palais métropolitains, jusqu'en 1936, des œuvres de différents courants étaient exposées, mais l'art du XIXe siècle était présenté comme impérialiste, tandis que les œuvres des futuristes du XXe siècle étaient considérées comme étrangères à l'idéologie socialiste.

En mars 1936, il a été décidé de restaurer la province de Yaroslavl. En 1937, la galerie a obtenu le statut de musée d'art régional autonome de Yaroslavl. En 1941 et 1945, le musée a pratiquement cessé de fonctionner en raison de la Seconde Guerre mondiale. En 1936, des répressions ont commencé, et des listes d'auteurs dont les œuvres devaient être retirées sont arrivées au musée. De nombreux artistes, tels qu'A. M. Kadak, N. P. Evdokimov et S. V. Shcheglov, ont été persécutés. Leurs œuvres ont presque disparu, mais certains travaux ont été cachés par le personnel du musée dans des réserves. Dans les années 1980, des œuvres d'artistes réprimés, tels que F. I. Veseli, B. A. Petrukhin et A. A. Derjavine, ont été intégrées à la collection. Pendant la guerre, le musée a été fermé, le bâtiment a été transféré au ministère de la Défense, et la collection a été partiellement évacuée. Après la guerre, le musée a repris ses activités d'exposition. En juin 1946, une exposition permanente d'art russe a été ouverte, et en novembre, les salles d'art de la période soviétique. À la fin des années 1940, le musée a commencé à être appelé musée d'art, et en 1950, cela a été officiellement confirmé.

En 1953, les musées d'art, y compris celui de Yaroslavl, sont passés sous la direction de l'Administration des beaux-arts et de la protection des monuments du ministère de la Culture de la RSFSR. On leur a confié la tâche de présenter l'art réaliste russe et soviétique. Dans les années 1950, une restauratrice, Elena Pavlovna Yudina, est arrivée au musée, devenant la première spécialiste qualifiée en restauration de peinture à Yaroslavl. Elle a sauvé de nombreuses œuvres, formé des élèves et, en 1971, a créé un département de restauration scientifique. L'exposition reflétait le développement de l'art national du XVIIIe siècle jusqu'au milieu des années 1950. La collection de la période soviétique était faible, et le retrait des œuvres d'artistes réprimés l'a réduite. En 1956, un guide de V. P. Mitrofanov a été publié, et dans les années 1950 et au début des années 1960, une description d'environ 1300 objets muséaux a été élaborée. Sur cette base, le premier catalogue illustré du musée a été publié.

À la fin des années 1950, la collection a déménagé dans les locaux de l'ancien monastère Spaso-Preobrazhensky. À ce moment-là, la collection comprenait 745 œuvres de peinture, 2768 œuvres graphiques et 116 sculptures. En 1959, le Musée d'histoire et d'architecture de Yaroslavl et de Rostov a été créé, réunissant les musées de Yaroslavl et de Rostov, y compris le musée régional d'art. Cela a limité son développement et freiné l'enrichissement de la collection. À la fin des années 1960, l'idée de rendre l'autonomie à la collection d'art a émergé, et en 1969, le musée a obtenu un statut autonome. En 1970, un manoir sur la promenade de la Volga lui a été attribué, où la collection est exposée aujourd'hui. La majeure partie de la collection a pu être préservée, et l'obtention du statut autonome a ouvert de nouvelles perspectives pour le musée.