Музей был основан 1 августа 1968 года. В его коллекции насчитывается более девяти тысяч экспонатов, из которых около двух тысяч, это произведения русских и советских художников XIX и XX веков, а также иконы XIX века. Коллекция графики включает около пяти тысяч оригинальных и печатных работ отечественных и зарубежных авторов конца XIX и XX веков.

Собрание декоративно-прикладного искусства насчитывает более 1,6 тысяч экспонатов конца XIX и XX веков. Здесь представлены народные глиняные игрушки, ткачество и вышивка мастеров Брянщины, медное литье из юго-западных районов области, а также изделия из хрусталя и стекла, созданные художниками Дятьковского хрустального завода.

Коллекция также включает русскую и советскую скульптуру XX века, насчитывающую около 300 экспонатов.

14 сентября 1995 года был открыт филиал «Музей братьев Ткачевых», в котором хранится более 700 работ А. П. и С. П. Ткачевых. Здесь можно увидеть полотна, ставшие классикой изобразительного искусства второй половины XX века, работы, созданные в период обучения в изостудии Бежицкого дома пионеров, учебные постановки академического периода, а также серии, посвященные тютчевским местам, европейским поездкам, и этюды и наброски к произведениям разных лет.