Усадьба на Бауманской улице, ранее известной как Немецкая, была построена, вероятно, в середине XVIII века, не позже 1770-х годов. Комплекс усадьбы, расположенной вдоль улицы, включал главный дом и два симметрично расположенных флигеля, соединенных с ним арками ворот с белокаменными колоннами. Левый флигель был утрачен в 1960-х годах, но один из хозяйственных флигелей в глубине участка сохранился.

Существует предположение, что проект усадьбы разработал известный русский архитектор Матвей Федорович Казаков. Чертеж фасада усадьбы был включен в «Альбомы партикулярных строений Москвы», составленные Казаковым в начале XIX века, где он собрал лучшие, по его мнению, частные дома Москвы.

Декоративное оформление фасада главного дома относится к периоду после пожара 1812 года, когда дом был восстановлен к 1815 году. Центральный полукруглый ризалит здания украшен сдвоенными коринфскими пилястрами и изящными лепными барельефами с сюжетной композицией. Фасад по бокам от ризалита также декорирован лепными барельефами и растительным фризом. Внутри сохранились сводчатые помещения подклета и частично оформление парадных интерьеров первой трети XIX века.

В конце XVIII и начале XIX веков усадьбой владела дворянская семья Карабановых. Сначала это был Федор Леонтьевич Карабанов, бригадир, который одно время служил тверским вице-губернатором и губернским предводителем дворянства. Затем усадьбу унаследовал его сын Павел Федорович, известный как знаток и коллекционер древностей. Он посвятил свою жизнь собиранию церковной утвари, медалей, монет, картин и гравюр. В его коллекции было более 3000 портретов исторических деятелей и богатая библиотека древних книг и рукописей. Его собрание, известное как «Русский музей Карабанова», находилось в его доме на Петровке, куда он переехал из усадьбы на Немецкой улице и где провел большую часть жизни.

Павел Карабанов завещал свою коллекцию государству. Древности были переданы в Оружейную палату, портретная галерея, в Эрмитаж, а большая часть рукописей и книг, в Императорскую публичную библиотеку. Некоторые его труды были изданы после его смерти: «Исторические рассказы и анекдоты, записанные со слов именитых людей», «Списки замечательных лиц русских». Его исторические записки и рассказы публиковались в журнале «Русская старина», а собранные им генеалогические сведения использовались при составлении Российской родословной книги.

После Карабановых усадьба на Немецкой улице перешла к семье уральского заводчика Ивана Яковлева-Собакина, которая восстанавливала дом после пожара 1812 года. Последним владельцем усадьбы был дворянин Николай Александрович Занковский, член Русского Фотографического общества и владелец фирмы «ЭНЗЕ», производившей фотографические пластины.

В советское время в усадьбе размещались различные учреждения, а сейчас в главном доме находится банк.