Калужский музей изобразительных искусств является крупнейшим художественным собранием в Калужском крае. Он открылся 12 июня 1918 года в доме, принадлежавшем врачу Н.И. Васильеву, который сейчас находится по адресу ул. Дзержинского, дом 81.

Никанор Иванович Васильев, уроженец Калуги, родившийся в 1832 году и скончавшийся в 1917 году, завещал свою художественную коллекцию родному городу. Именно его частное собрание стало основой для коллекции музея.

До 1924 года музей функционировал как самостоятельное учреждение, но затем, вместе с другими калужскими музеями, вошел в состав Калужского Объединенного Музея, став его отделом.

С 1921 по 1935 годы заведующим музеем, а затем отделом, был Всеволод Николаевич Левандовский. Он был талантливым художником и выпускником Петербургской Академии художеств, посвятившим свою жизнь сохранению художественных ценностей и организации музейной работы. Благодаря его усилиям, коллекции музеев Калуги пополнились произведениями искусства из усадеб Калужской губернии. В 1926 году при его участии был создан Калужский филиал Ассоциации художников революционной России, начались регулярные выставки местных художников и заработала изостудия. В довоенные годы музей стал одним из культурных центров Калуги.

С 1937 по 1960 годы музей возглавлял М.М. Днепровский, первый искусствовед в его истории.

В 1939 году художественный отдел вновь стал Калужским городским художественным музеем и вошел в систему Комитета по делам искусств.

Во время Великой Отечественной войны коллекции музея не удалось эвакуировать, и многие произведения были утрачены. Однако сотрудник музея Н.М. Маслов смог сохранить часть коллекции, спрятав ящики с ценными произведениями.

Осенью 1944 года музей вновь открылся для посетителей, и его фонды начали пополняться новыми экспонатами. С этого времени он носит название "Калужский областной художественный музей".

В 1969 году музею передали главное здание городской усадьбы Билибиных-Чистоклетовых, памятник архитектуры начала XIX века, имеющий федеральное значение. Сейчас музей занимает почти весь комплекс усадьбы.

С 1989 по 1997 годы в здании музея проводилась реставрация, и 26 июня 1997 года обновленная экспозиция была открыта для посетителей.

Музей имеет филиалы: Тарусскую, Ульяновскую, Хвастовичскую и Мосальскую картинные галереи, а также Информационно-образовательный и выставочный центр в Калуге. Он служит методическим центром для художественных галерей области.