En 1864 se fundó el Museo de Historia Natural de Yaroslavl, que incluía colecciones de botánica, zoología, mineralogía y geología. En 1881 se hizo accesible al público en general. En 1895, gracias a la Comisión de Archivos Científicos de la Gobernación de Yaroslavl, se creó un museo de perfil cultural e histórico, conocido como el Almacén de Antigüedades. En 1909 apareció la Sociedad de Bellas Artes de Yaroslavl, que unía a artistas, profesores del Liceo Demidov y estudiosos locales. Organizó exposiciones, publicó álbumes sobre monumentos arquitectónicos de Yaroslavl y llevó a cabo conferencias sobre artes visuales, buscando crear un museo o galería de arte. En 1913 y 1914, la Academia de Bellas Artes de San Petersburgo transfirió al fondo 14 obras de maestros rusos, y para 1918 su número ascendía a alrededor de 30. La colección se enriquecía con obras de exposiciones locales y donaciones de particulares, que se almacenaban en el Almacén de Antigüedades de la Comisión de Archivos de la Gobernación de Yaroslavl.

Con la llegada del poder soviético, comenzó una nueva etapa en el desarrollo de los museos en Rusia. En noviembre de 1917, se creó la Comisión All-Rusa para Asuntos de Museos y Protección de Monumentos de Arte y Antigüedades bajo el Narcompros. Los museos comenzaron a cumplir una función ideológica, formando la cosmovisión del nuevo hombre soviético. En 1919, el edificio de la antigua Consistoría Espiritual, construido en 1815 por el arquitecto L. Ruski, fue destinado a galería. En 1919 y 1924, la galería estuvo bajo la supervisión del Subdepartamento de Museos de la Gobernación de Yaroslavl. Su colección incluía obras formadas por organizaciones públicas de Yaroslavl antes de la revolución. Durante la revuelta de Yaroslavl, el edificio de la galería sufrió graves daños y necesitaba reparaciones. En marzo de 1920, parte de la colección se exhibió en la Gran Manufactura de Yaroslavl. La galería se completó con arte clásico y obras de artistas contemporáneos de principios del siglo XX. En 1922, el museo recibió el estatus de Museo de Arte Antiguo Ruso, y su fondo se enriqueció con obras saqueadas de iglesias de Yaroslavl en julio de 1918 y templos que estaban cerrando. En 1924, los museos de Yaroslavl se unieron en el Museo Estatal de Yaroslavl, que incluía el Museo de Historia Natural, el Museo de Historia y Vida, el Museo del Libro, una biblioteca científica, la Galería de Arte y el Museo de Arte Antiguo Ruso. Esto permitió unir los esfuerzos de los especialistas sin menoscabar la especialización de los museos. La Galería de Arte y el Museo de Arte Antiguo Ruso se convirtieron en un organismo único que unía el fondo artístico de Yaroslavl.

El registro de visitantes de la galería comenzó en 1922 y para 1928 contaba con más de 40,000 personas. Se desarrollaron todas las áreas de la actividad museística: investigación científica, restauración, exposiciones, propaganda y educación, excursiones, conferencias y clases prácticas con estudiantes. Bajo la dirección de A. I. Malygin, que dirigió la galería hasta 1929, todas las fuerzas artísticas de la ciudad se unieron en torno a ella. En ese momento se formó la exposición de arte ruso del siglo XVIII y las primeras décadas del siglo XX. En 1927, se recibieron 56 obras del fondo estatal de museos. Para principios de 1928, la colección contaba con alrededor de 1600 exposiciones: 335 pinturas, 149 acuarelas y dibujos, 874 grabados y litografías, 34 esculturas y 194 objetos de arte aplicado.

En la segunda mitad de la década de 1920, comenzaron las inspecciones del Glavpolitprosvet en Yaroslavl y la persecución de los antiguos especialistas. Desde enero de 1929 hasta marzo de 1936, Yaroslavl formó parte de la región industrial de Ivanovo. El estatus del museo de Yaroslavl cambió tres veces, lo que afectó negativamente su desarrollo. Se despidieron empleados valiosos y la colección se trasladó a las instalaciones del museo histórico. En 1930 y 1931, la colección estuvo cerrada al público. En 1932, el museo se convirtió en el Museo Regional de Historia Local de Yaroslavl, y la galería existió como su departamento. Se le encargó formar una colección de obras de socialrealismo. En la nueva exposición del departamento de arte, ubicada en las salas de las antiguas Cámaras Metropolitanas, hasta 1936 se exhibieron obras de diferentes direcciones, pero el arte del siglo XIX se presentaba como imperialista, y las obras de los futuristas del siglo XX, como ajenas a la ideología socialista.

En marzo de 1936, se decidió restaurar la región de Yaroslavl. En 1937, la galería recibió el estatus de museo de arte regional independiente de Yaroslavl. En 1941 y 1945, el museo prácticamente no funcionó debido a la Gran Guerra Patria. En 1936 comenzaron las represiones, y el museo recibió listas de autores cuyas obras debían ser retiradas. Muchos artistas, como A. M. Kadak, N. P. Evdokimov y S. V. Shcheglov, fueron objeto de represiones. Sus obras casi desaparecieron, pero algunos trabajos fueron ocultados por los empleados del museo en los almacenes. En la década de 1980, se incorporaron obras de artistas represaliados, como F. I. Veseli, B. A. Petrukhin y A. A. Dergavin, a la colección. Durante la guerra, el museo fue cerrado, el edificio fue entregado al Ministerio de Defensa, y la colección fue parcialmente evacuada. Después de la guerra, el museo reanudó su actividad expositiva. En junio de 1946 se inauguró una exposición permanente de arte ruso, y en noviembre, las salas de arte del período soviético. Desde finales de la década de 1940, el museo comenzó a ser llamado museo de arte, y en 1950 esto fue oficialmente confirmado.

En 1953, los museos de arte, incluido el de Yaroslavl, pasaron a estar bajo la administración de la Dirección de Artes Visuales y Protección de Monumentos del Ministerio de Cultura de la RSFSR. Se les encargó mostrar el arte realista ruso y soviético. En la década de 1950, la restauradora Elena Pavlovna Yudina se unió al museo, convirtiéndose en la primera especialista calificada en restauración de pintura en Yaroslavl. Salvó numerosas obras, formó a sus alumnos y en 1971 creó el departamento de restauración científica. La exposición reflejaba el desarrollo del arte nacional desde el siglo XVIII hasta mediados de la década de 1950. La colección del período soviético era débil, y la retirada de obras de artistas represaliados la redujo. En 1956 se publicó una guía de V. P. Mitrofanov, y en la década de 1950 y principios de la década de 1960 se elaboró una descripción de alrededor de 1300 objetos del museo. Sobre esta base, se lanzó el primer catálogo ilustrado del museo.

A finales de la década de 1950, la colección se trasladó a las instalaciones del antiguo monasterio de Spaso-Preobrazhensky. En ese momento, la colección incluía 745 unidades de pintura, 2768 de gráficos y 116 esculturas. En 1959 se formó el Museo-Reserva Estatal Histórico-Arquitectónico y de Bellas Artes de Yaroslavl y Rostov, que unió los museos de Yaroslavl y Rostov, incluido el museo de arte regional. Esto limitó su desarrollo y ralentizó el enriquecimiento de la colección. A finales de la década de 1960, surgió la idea de devolver la independencia a la colección de arte, y en 1969 el museo obtuvo un estatus independiente. En 1970 se le asignó una mansión en la ribera del Volga, donde la colección se exhibe actualmente. Se logró conservar la mayor parte de la colección, y la obtención del estatus independiente abrió nuevas perspectivas para el museo.