В XVIII веке на месте современного дома 58 по Большой Полянке находилась большая усадьба. В середине XIX века она была разделена на два участка, которые использовались как доходные владения. Большая часть исторических построек была снесена в 1930-1940-х годах при прокладке Житной улицы. Единственный сохранившийся двухэтажный дом с богато украшенным фасадом по красной линии Большой Полянки принадлежал купцу первой гильдии Николаю Сергеевичу Воробьеву, владельцу торгового дома «Братья Воробьевы». Семейное дело по торговле москательным товаром перешло к Николаю от его отца, Сергея Петровича, и дяди, Дмитрия Петровича. Братья были купцами первой гильдии с 1866 года и совладельцами торгового дома «Воробьевы Д. и С. бр.».

Долгие годы купцы Воробьевы и их потомки торговали в Старом Гостином дворе на Варварке и в собственном доме на Серпуховской улице. Они вели благочестивую жизнь. Сергей Петрович был старостой при церкви Московского коммерческого училища, освобожденным от службы по городским выборам на время пребывания в этой должности. Дмитрий Петрович занимался активной общественной деятельностью, был председателем Сиротского суда и членом совета попечительского Общества о детях лиц, сосланных в Сибирь по судебным приговорам. Также он был выборным московского купечества и с 1889 года гласным Московской городской думы. Его сын, Дмитрий Дмитриевич, продолжил традиции благотворительности, будучи старшиной московских детских приютов и директором Московского комитета попечительства о тюрьмах.

После смерти Сергея Петровича его сын Николай Сергеевич возглавил семейное дело. С 1886 года он был купцом второй, а затем первой гильдии и личным почетным гражданином. С 1903 года он стал выборным московского купеческого сословия. В 1896 году к управлению торговым домом присоединился его двоюродный брат Дмитрий, который жил в фамильном доме на Большой Серпуховской улице.

В 1905 году Николай Воробьев снес старые строения на своем участке на Большой Полянке и построил новый дом по проекту архитектора Л. В. Стеженского. Двухэтажное каменное здание с полуподвалом предназначалось для проживания семьи и сдачи квартир внаем. Фасад дома выполнен в стиле модерн с элементами древнерусской архитектуры. Центральная часть выделена эркером с трехчастным окном и аттиковым этажом с лепным растительным орнаментом. На фасаде размещен герб с инициалами Воробьева. Боковые ризалиты украшены фигурными аттиками с пинаклями. Фасад облицован двухцветной керамической плиткой. Вход оформлен арочным порталом, окна и двери имеют характерную для модерна расстекловку. Дворовые фасады также выполнены в стиле модерн с разнообразными эркерами. По красной линии улицы была возведена ограда, фрагменты которой сохранились до сих пор.

Дом имел коридорную планировку, соответствующую его доходной функции. Интерьеры не уступали внешнему убранству: сохранились парадная лестница, изысканный потолочный декор, сложнопрофилированные карнизы и паркетные полы.

До 1917 года дом принадлежал купчихе Олимпиаде Михайловне Воробьевой. После национализации в 1920-х годах здание использовалось как Клуб работников просвещения. В 1970-х здесь находился Институт повышения квалификации преподавателей, а с конца 1990-х, Университет Российской академии образования. В 2005 году в здании была проведена комплексная реставрация.