После пожара 1812 года, в 1820 году, вдоль переулка был возведен главный дом с флигелями по бокам. В конце 1860-х усадьбу приобрела Прасковья, старшая дочь известного купца Герасима Хлудова. Она вышла замуж за К.К. Прохорова из династии фабрикантов Прохоровых, владельцев Трехгорной мануфактуры, и купила дом рядом с отцовской усадьбой у Высокояузского моста, в приходе церкви Ильи Пророка на Воронцовом поле.

В начале 1870-х Прасковья перестроила особняк. Главный дом получил рустованный первый этаж, центральный ризалит был украшен небольшим изогнутым фронтоном с люкарной, а три центральных окна, овальными сандриками с лепными гирляндами. Во дворе были возведены удобные службы.

После смерти отца Прасковья вместе с сестрами унаследовала отцовские фабрики: Егорьевскую бумагопрядильную и Норскую льняную мануфактуры. Ее муж, Константин Константинович, умер в 1888 году в возрасте 46 лет. Сестры Хлудовы активно занимались благотворительностью, построив на завещанные отцом средства целый городок в Сыромятниках на Яузе, “Дом призрения бедных им. Г.И. Хлудова”. После смерти мужа Прасковья на свои средства открыла там отделение для слабых и больных, а после скоропостижной смерти дочери в 1895 году, бесплатное женское ремесленное училище и еще один корпус бесплатных квартир. Архитектором некоторых из этих сооружений был Лев Кекушев.

В начале 1900-х Прасковья Герасимовна оставила дом своему единственному сыну Николаю и переехала на Покровку. Николай женился на Лидии Ушковой, дочери известного елабужского химического фабриканта, и они жили в этом доме до революции.

К концу ХХ века дом находился в плохом состоянии. В 1997 году архитектурная фирма “Самсунг инжиниринг” провела капитальную реконструкцию усадьбы, восстановив фасады и интерьеры главного дома, а также капитально перестроив службы и флигеля. Сейчас здания усадьбы принадлежат Росэнергобанку.