Флигель усадьбы был возведён в 1834 и 1857 годах и принадлежал М. Е. Мотовой. Сначала она сдавала его в аренду, а в 1863 году продала семье вятского мещанина Н. И. Хохрякова, отца известного художника. В 1901 году флигель перешёл к наследникам: Николаю, Наталье, Вере и Юлии.

Согласно документам, здание выглядело одноэтажным с улицы и полутораэтажным со двора. На территории находились деревянные постройки, погреб, амбар и баня. К 1908 году рядом появился ещё один деревянный флигель, который стал мастерской художника. Вокруг дома разбили сад с сиренью, смородиной, малиной и крыжовником, а также устроили небольшую пасеку.

В начале XX века усадьба стала центром художественной жизни города. Здесь бывали известные художники, такие как братья Васнецовы, Виктор и Апполинарий, фотограф Сергей Лобовиков, живописцы Аркадий Рылов и Илья Репин, архитектор Иван Чарушин. Современники отмечали, что Н. Н. Хохряков был очень гостеприимным хозяином.

Аркадий Рылов упоминал, что Хохряков много лет писал картины в своём саду. В доме-усадьбе он создал такие работы, как «Яблони цветут. Садик», «Сад с флоксами», «Флоксы перед домом» и «Дворик с курами». В саду до сих пор растёт берёза, которой более ста лет, и она изображена на нескольких его картинах.

В 1990-х годах главный флигель был реконструирован: старое здание разобрали и построили его «копию», сохранив анфиладную планировку, характерную для архитектуры первой половины XIX века. В 1998 году здесь открылся дом-музей художника.

Флигель-мастерская, где работал Н. Н. Хохряков, был утрачен в сентябре 2014 года из-за строительства новостройки.

В 2008 году кировский мастер резьбы по дереву Г. Я. Лопатин построил при усадьбе беседку-ротонду, а в 2014 году украсил резьбой фасад дома и создал резные ворота «солнышко» по фотографии начала XX века.

Постоянная экспозиция музея включает работы художника, фотографии и мемориальные вещи, воссоздающие атмосферу дома: старинную мебель, русскую печь, витую узкую лестницу и мольберт, за которым работал художник. Также представлен «Портрет Н. Н. Хохрякова» работы его ученика Алексея Исупова, написанный незадолго до его отъезда в Италию.