Этот дом был возведен во второй половине XIX века по проекту архитектора Михаила Осиповича Лопыревского в его владении. Неподалеку, на Калошином переулке, 12, находится его собственный жилой дом, построенный в 1850-е годы.

Согласно преданию, М. О. Лопыревский был побочным сыном одного из князей Голицыных и воспитывался в семье титулярного советника Лопырёва. В 1820 году он начал работать в Экспедиции Кремлёвского строения подканцеляристом, а с 1825 года стал канцеляристом и с 1826 года, помощником архитектора. С 1833 года Лопыревский преподавал архитектуру в Земледельческом училище и по его проекту было построено здание этого училища на Смоленском бульваре, 19. Архитектор умер в 1883 году и был похоронен на Ваганьковском кладбище. Современники отмечали его необычайную скупость.

Дом на Арбате был приобретен Московской городской управой для бесплатного родильного приюта.

С 1941 по 1988 годы здесь жил выдающийся русский философ Алексей Федорович Лосев. Он переехал сюда в 1941 году после того, как его прежний дом на Воздвиженке был разрушен бомбой. В книге «Лосев» Аза Алибековна Тахо-Годи вспоминает, что Лосевы жили в стесненных условиях, без центрального отопления и газа, но с запасами дров и керосина. В квартире было много книг, которые удалось спасти из разрушенного дома. Лосев продолжал пополнять свою библиотеку, заказывая специальные шкафы для книг. В его доме часто собирались друзья и единомышленники. Здесь он работал над «Историей античной эстетики» и другими произведениями. Лосев прожил в этом доме почти полвека и скончался здесь в 1988 году. В начале 90-х годов дом был объявлен памятником истории в память о великом философе.

Наследие Лосева велико, и многое из его трудов осталось неопубликованным. Для изучения его работ и издания трудов было создано просветительское общество «Лосевские беседы», которое возглавляет доктор филологических наук Аза Алибековна Тахо-Годи. Благодаря ее усилиям дом удалось сохранить для научной и просветительской деятельности. Она приложила много усилий, чтобы защитить дом от коммерсантов, отреставрировать его и добиться создания государственного учреждения культуры «Дом А.Ф. Лосева».

История создания этого учреждения началась 20 лет назад, когда КПО «Лосевские беседы» предложило реконструировать дом на Старом Арбате и создать на его основе Центр истории русской философской мысли. В декабре 2000 года была учреждена Библиотека истории русской философии и культуры «Дом А.Ф. Лосева», где на третьем этаже находится мемориальная коллекция книг Лосева и Тахо-Годи. Библиотека была создана на основании постановлений Правительства Москвы и приказа Комитета по культуре.