Музей истории города Ярославля был открыт в августе 1985 года как филиал Ярославского государственного музея-заповедника. С 1998 года он стал самостоятельным муниципальным музеем.

Музей расположен в купеческой усадьбе на Волжской набережной. Главное здание усадьбы было построено в 1893-1894 годах на средства купца I гильдии Василия Яковлевича Кузнецова, чье состояние к концу жизни оценивалось в почти 1 миллион рублей. После его смерти в 1901 году дом перешел к вдове Елизавете Максимовне Кузнецовой. В 1918 году здание было национализировано и использовалось под различные учреждения, включая детскую больницу и глазное отделение.

В 1985 году дом стал Музеем истории города. В 1998 году, благодаря инициативе мэра и поддержке губернатора, музей стал муниципальным, что было связано с подготовкой к 1000-летнему юбилею Ярославля. Руководителем музея стал Владимир Георгиевич Извеков, под чьим руководством были проведены ремонтно-реставрационные работы и создана новая экспозиция. Финансирование проекта осуществлялось из городского бюджета и спонсорских средств более 40 организаций, которые были отмечены в Книге друзей Музея. Восстановлением здания занимались архитекторы-реставраторы С. Н. Столярова и С. Е. Новиков.

Экспозиция музея, "Десять веков истории Ярославля", охватывает всю историю города с XI века до наших дней. Она включает шесть тематических залов, где представлены археологические находки, памятники письменности и другие экспонаты. Особое внимание уделено макету Ярославля XIII века. Экспозиция также охватывает период Московского царства, Смутное время и развитие города в XVIII веке, включая Ярославскую Большую мануфактуру и создание губернии.

Пятый зал посвящен политической истории города, включая события Первой русской революции и Первой мировой войны, а также ярославскому восстанию 1918 года. Шестой зал охватывает вторую половину XX века и современную историю города. Музей также включает залы, посвященные знаменитым ярославцам и международным связям города.

В 2002 году открылась экспозиция "Из истории ярославской медицины", а в 2016 году, "Памятник Всемирного наследия", посвященная исторической части Ярославля, включенной в список ЮНЕСКО. Музей имеет два филиала: Городской выставочный зал имени Н. А. Нужина и Центр белорусской культуры. С 2012 по 2019 год музей возглавлял Валерий Васильевич Величко, а с мая 2019 года директором стал Александр Витальевич Нечаев.