Со второй четверти XVIII века в районе Большой и Малой Полянки, где ранее находились торговые и ремесленные слободы, начали строиться дворянские усадьбы. Дом на современной Малой Полянке, 9, известен с 1750-х годов как часть усадьбы князя Федора Андреевича Барятинского, судьи и статского советника. Он жил там с женой и 11 детьми. После его смерти в 1760 году усадьба была разделена между его женой и сыновьями. На участке находились каменные палаты, деревянные постройки и сад.

Позднее усадьбой владели представители известных дворянских родов: надворный советник А. М. Воейков, майор Я. П. Ртищев и секунд-майор Н. Д. Бибиков. В 1819 году, когда усадьба принадлежала польской дворянке Елизавете Николаевне Нарановичевой, был построен двухэтажный особняк с каменным первым этажом, который стал основой современного владения.

К 1835 году владелицей стала поручица Елизавета Николаевна Офросимова, предположительно сменившая фамилию после замужества. Дом, выделившийся из усадьбы, выходил на красную линию Малой Полянки и представлял собой ампирный особняк с ионическим портиком и ступенчатым аттиком.

С середины XIX века домом владели купцы. Сначала его хозяйкой была жена московского купца Марья Петровна Антонова, а к 1875 году усадьба перешла к купцу А. Е. Викторову. В это время деревянные постройки заменили на каменные. Дом унаследовала дочь Викторова Зиновия, которая в 1900 году продала его Ивану Акимовичу Воронцову.

Воронцов значительно перестроил особняк по проекту архитектора И. П. Машкова. Здание получило современный фасад в эклектичном стиле с декоративными элементами. Были добавлены пристройки и построен двухэтажный служебный флигель. Вдоль южной границы усадьбы возвели еще один флигель, где разместились различные хозяйственные помещения и сад.

После национализации усадьба стала коммунальным жильем, где в 1925 году проживало около 50 человек. С 1976 года здесь разместился психоневрологический диспансер. Несмотря на это, сохранилась планировка и некоторые интерьеры здания. В ближайшее время планируется реставрация, включая восстановление монументальной живописи.