Музей русской иконы был создан благодаря инициативе предпринимателя и мецената Михаила Абрамова и открылся в мае 2006 года. Изначально музей находился в одном из залов бизнес-центра «Верейская плаза» на западе Москвы, в то время как велась активная работа по реконструкции основного здания музея.

Реконструкция здания, расположенного на Гончарной улице в центре Москвы, завершилась в 2010 году. Два доходных дома, ранее находившиеся в аварийном состоянии, были укреплены, полностью отреставрированы и преобразованы в современный музейный комплекс с объединяющим стеклянным атриумом. Новое здание музея торжественно открылось 25 января 2011 года, и церемонию возглавил министр культуры Российской Федерации Александр Авдеев. С открытием нового здания музей расширился не только в плане экспозиционных залов, но и получил помещения для хранения экспонатов, их научного изучения, каталогизации, реставрации и технико-технологического исследования. Это привело к созданию специальной реставрационной мастерской и научно-каталогизационных отделов.

С момента открытия музей получил широкое общественное и профессиональное признание. Например, он стал первым частным русским собранием, вошедшим в Международный совет музеев при ЮНЕСКО.