Рядом с городской управой находилась усадьба купцов Зворыкиных, одна из самых известных фамилий в Муроме. Чтобы различать разные ветви этой семьи, им давали прозвища. Например, были Зворыкины-Подгорные, Зворыкины-Якори, Зворыкины-Ткачи и Зворыкины-Железные. Те, о ком идет речь, назывались Козоморовы, хотя происхождение этого прозвища неизвестно.

Усадьба включала большой каменный жилой дом, два флигеля, конюшню, каменную палатку и различные деревянные хозяйственные постройки. Двор был полностью замкнут, а по склону оврага раскинулся обширный фруктовый сад. Дом был построен во второй половине 1840-х годов Кузьмой Дмитриевичем Зворыкиным, прадедом изобретателя телевидения Владимира Зворыкина. Документы свидетельствуют о том, как в начале 1840-х годов Кузьма Дмитриевич постепенно скупал земли на краю Николо-Зарядского оврага, где позже возникло городское поместье Зворыкиных.

Главное жилое здание выполнено в классическом стиле и фасадом выходит на торговую площадь. Владимир Зворыкин с теплотой вспоминает свое детство в этом доме: «Дом, в котором я родился, принадлежал нашей семье на протяжении нескольких поколений. Это было большое каменное трехэтажное здание, слишком большое даже для нашей многочисленной семьи. Мы занимали только второй этаж, остальная часть дома пустовала, и у нас, детей, было много места для игр в прятки».

В 1918 году особняк Зворыкиных передали городскому музею, и с тех пор в нем размещались исторические и художественные экспозиции. С 2010 года здание закрыто на реконструкцию.