Основатель известной в XIX веке кожевенной династии Алексей Федорович Бахрушин в 1830-х годах пришел в Москву пешком из Зарайска. Он поселился с женой и старшим сыном на зарайском подворье на Таганке. Спустя несколько лет Бахрушины приобрели большой участок на Кожевнической улице и открыли там кожевенный завод. В 1856 году они купили соседний дом у купца Ардалиона Котельникова. В семье Бахрушиных существовала легенда, что на месте их дома когда-то стоял загородный охотничий замок Потемкина, от которого остались двухаршинные стены и ворота. Справа от дома был разбит большой сад с прудом и островом, соединенным мостиком. Сейчас на этом месте находится музей Российской железной дороги с паровозом, на котором в Москву привезли тело Ленина. Часть сада была отдана под кожевенный завод.

В этом доме жила семья Александра Алексеевича Бахрушина. По воспоминаниям его внука, дом был большим и несколько неудобным. В центре находилась двухсветная зала с хорами для оркестра, где в табельные дни, на дни рождения, Рождество и Пасху устраивались семейные торжества. Здесь родились и выросли его дети: создатель Театрального музея Алексей Александрович, благотворитель Владимир Александрович и коллекционер Сергей Александрович.

На втором этаже жила семья Александра Алексеевича и его старшего сына Владимира, а первый этаж был отдан детям Владимира. В старинном флигеле размещалась контора кожевенной фабрики и жили служащие завода.

После смерти деда домом владел Сергей Владимирович Бахрушин, профессор Московского университета и известный ученый. После революции Бахрушиных выселили из дома, а кожевенную фабрику преобразовали в фурнитурный завод. Дом передали заводу.

В 2010-х годах на месте завода построили бизнес-центр «Вивальди Плаза», а дом укоротили на три левых окна и перестроили до неузнаваемости, сохранив только стены.