История здания начинается с конца XVII века, когда его владельцем был Яков Байбаков, служивший в Померной избе, где измеряли и учитывали сыпучие товары для продажи. После него участок часто менял хозяев, а постройки на нем неоднократно сгорали.

В конце XVIII века здесь возвели новый дом, который стал частью здания, построенного в 1901 году для школ "Вспомогательного общества купеческих приказчиков". В этих школах читались лекции по коммерческим дисциплинам, включая бухгалтерию, которые, хоть и не были широко известны, пользовались популярностью.

Среди сотрудников "Исторички" ходила легенда, что здание принадлежало "тётушке Грибоедова", и что сам Грибоедов читал здесь свою комедию "Горе от ума". Хотя документальных подтверждений этому нет, известно, что дом принадлежал купцу А.А. Куманиным, женатому на сестре матери Ф.М. Достоевского. Достоевский часто бывал здесь.

С 1938 года в здании на Старосадском переулке находится Историческая библиотека, основанная на коллекциях известных литературоведов и собирателей книг. Основу её фондов составила библиотека историка и археолога А.Д. Черткова. В библиотеке также хранятся собрания князя А.И. Барятинского, археолога П.М. Строева, востоковеда А.И. Гульянова, этнографа А.Ф. Гильфердинга, коллекционера А.П. Бахрушина, историка И.Е. Забелина и другие. В 1938 году сюда были добавлены фонды библиотеки Института красной профессуры.

В середине 1980-х к зданию был пристроен новый корпус из стекла и бетона, где разместился отдел периодики. В 1990 году здесь возобновила работу краеведческая комиссия "Старая Москва" под руководством писателя и краеведа В.Б. Муравьева.

Во время реставрации 2015-2016 годов были укреплены несущие конструкции, восстановлены белокаменные элементы XVIII века, очищены фасады и отреставрирована кирпичная кладка. Парадная лестница была возвращена к своему первоначальному виду, и обнаружены металлические грифоны, скрытые под старыми панелями. Восстановлены историческая планировка и отделка помещений. В 2017 году библиотека получила награды конкурса "Московская реставрация" за лучший проект реставрации и высокое качество работ.