В 1830-х годах купцы Бахрушины приобрели большой участок с домом у наследника купца Гусятникова, поручика Ф.М. Гусятникова. В XVIII веке Гусятниковы были известным купеческим родом, владеющим многими домами в Москве. В их честь была названа соседняя улица, которая теперь называется Летниковская. В этом доме поселился Алексей Федорович Бахрушин с женой Натальей Ивановной Потоловской. Здесь выросли их три сына: Петр, Александр и Василий. После смерти старших Бахрушиных дом перешел к семье старшего сына Петра, и его большая семья жила там до переезда в дом напротив в Большом Марковом переулке, где находилась суконная фабрика Бахрушиных, управляемая Петром Алексеевичем. После переезда старый родовой дом достался Алексею Петровичу Бахрушину и его жене Анне Степановне Макеевой. Это был их первый семейный дом. Алексей Петрович увлекался коллекционированием книг, фарфора и других старинных вещей. О нем говорили, что он был очень скуп, так как каждое воскресенье ходил на Сухаревку и торговался.

В 1903 году Алексей Петрович с женой и коллекцией переехал в дом на Воронцовом поле, а в старом доме разместилась контора Товарищества кожевенной и суконной фабрик «Алексея Бахрушина сыновья».

В 1917 году кожевенная фабрика была национализирована, и на ее месте организовали Московский фурнитурный завод. В наши дни дом был перестроен до неузнаваемости, и в нем открыт бизнес-центр «Вивальди Плаза». К сожалению, только старый конторский дом напоминает о том, что здесь когда-то находился крупнейший кожевенный завод, принадлежавший одним из самых щедрых российских благотворителей.