Дом на Остоженке был построен в 1819 году титулярным советником Д.Н. Федоровым. Строительство велось на участке, купленном у генерал-лейтенанта К.Ф. Кнорринга, чье владение сгорело в пожаре 1812 года. Деревянный особняк в стиле ампир с шестиколонным портиком и семью окнами по фасаду стал типичным примером московской застройки после пожара. Как и многие в то время, Федоров сдавал дом в аренду.

В 1826 году здесь поселилась семья Аксаковых, во главе которой стоял будущий известный писатель Сергей Аксаков. В 1829 году дом арендовал московский дворянин Н.В. Левашов, участник Отечественной войны 1812 года и знакомый Пушкина.

В 1833 году дом приобрел чиновник Николай Лошаковский и сдал его в аренду камергеру М.М. Сонцову, чья жена была теткой Пушкина. В 1830-х дом арендовал надворный советник Александр Бакунин, лицейский товарищ Пушкина. В 1838 году здесь жил полковник Федор Толстой, известный своими яркими приключениями и дружбой с окружением Пушкина.

После Толстых в доме поселился генерал-майор Андрей Богдановский, герой войны 1812 года. Его портрет находится в Военной галерее Джорджа Доу в Зимнем дворце.

16 сентября 1840 года дом заняла Варвара Тургенева. Иван Тургенев, вернувшись из Берлина, часто бывал здесь. После смерти матери в 1850 году он жил в доме более двух месяцев, встречаясь с друзьями и работая над литературными произведениями.

В 1852 году дом арендовала Елена Кривцова, вдова Павла Кривцова. Она провела здесь последние три года жизни. В 1860-е годы в доме жила семья Андрея Баратынского, увлекавшаяся классической музыкой.

В 1891 году в доме поселился Леонид Чичагов с семьей. Он оставил военную карьеру ради служения церкви и принял монашество под именем Серафим. В 1937 году он был репрессирован, а в 1997 году канонизирован.

В конце XIX века в доме открыли приют имени великого князя Сергея Александровича. После революции 1917 года дом был перепланирован под коммунальные квартиры, которые расселили в 1974 году. До конца 2000-х здесь находилась организация «Спортинтерпром».

В 2007 году было решено создать в доме Музей И.С. Тургенева, который стал филиалом Государственного музея А.С. Пушкина. К 200-летию со дня рождения Тургенева здание было отреставрировано: укреплены фундамент и конструкции, восстановлены интерьеры и фасады. Музей стал доступен для маломобильных посетителей благодаря лифту. Объект получил награду конкурса «Московская реставрация, 2019».