История этого дома полна загадок и неожиданных открытий. Здание впервые упоминается на планах 1803 года, и до середины 2000-х годов исследователи считали, что оно было построено во второй половине XVIII века с перестройками в XIX и XX веках. Однако во время реконструкции для Тургеневской библиотеки были обнаружены удивительно хорошо сохранившиеся оконные и дверные проемы XVII-XVIII веков, что потребовало приостановки работ для корректировки проекта. Выяснилось, что внутри здания, считавшегося памятником купеческой архитектуры XIX века, находились палаты XVII и XVIII веков. Это открытие значительно изменило первоначальный замысел архитекторов. Архитектор-реставратор Л.А. Шитова предложила вариант, при котором угловой зал библиотеки, выходящий на Бобров переулок и парадный двор, стал двухсветным, без перекрытия между первым и вторым этажами. Были раскрыты два фасада ранних объемов здания, выходящие в этот зал, что позволило продемонстрировать архитектурные формы рубежа XVII-XVIII и середины XVIII веков на всю высоту обоих этажей. Фрагмент палат рубежа XVII-XVIII веков был также восстановлен на парадном дворовом фасаде. Такое решение зала позволяет ощутить уникальность постройки и глубину её истории.

Пока не обнаружено достоверных архивных данных о палатах XVII века, но удалось проследить историю усадьбы в XVIII и XIX веках. С начала XVIII века владельцем участка был Григорий Михайлович Петрово-Соловово Меньшой, представитель древнего дворянского рода, ведущего начало от татарского мурзы Батура. В 1713 году он был судьей Расправной палаты в Москве и, возможно, в это время стал владельцем усадьбы в Бобровом переулке. Его потомки владели усадьбой до конца XVIII века. В 1803 году участок перешел к московскому купцу Василию Герасимовичу Герасимову, а затем к его дочери Пелагее Васильевне Бирюковой.

Облик усадьбы кардинально изменился в 1895 году при последней владелице, Анне Александровне Бирюковой. Московский архитектор Адольф Николаевич Кнабе составил план перестройки главного дома и строительства нового. Главное здание было увеличено, надстроено третьим этажом, а на крыше устроен световой фонарь над лестничной клеткой. Фасады дома получили декоративное оформление, характерное для второй половины XIX века.

Соседнее здание (строение 2) было построено одновременно с реконструкцией главного усадебного дома. Простая внешняя и небогатая внутренняя отделка позволяют предположить, что это был недорогой доходный дом с квартирами для людей с небольшим достатком.

В 1901 году по проекту архитектора П.Л. Сюзева было построено третье здание усадьбы, ныне принадлежащее нотариальной палате.

После Октябрьской революции все три дома были национализированы и переделаны под коммунальные квартиры. В 1970-х годах жильцов постепенно расселяли, а вместо них здесь размещались различные учреждения, включая Московскую федерацию профсоюзов.

Все четыре века существования усадьбы в Бобровом переулке оставили свой след в её архитектурном облике. В середине 1990-х годов реконструкцией зданий занимался архитектор А. Асадов. Архитектурный критик Г. Ревзин высоко оценил его работу, отметив, что Асадов дополнил старые дома стеклянными вставками, создавая эффект лабиринта, где старые уютные комнаты соседствуют со стеклянными цилиндрами и железными мостиками. Фасады старого здания стали внутренними стенами стеклянных достроек, что создает ощущение, будто ты одновременно находишься и внутри, и снаружи.

Работы по реконструкции дома с палатами начались в 1998 году и завершились в 2003 году.