Двухэтажный каменный особняк с оградой был построен в стиле классицизма. Переулок, появившийся на карте Москвы в 1838 году, получил название в честь одного из владельцев дома, статского советника и сенатора Андрея Дашкова (1790, 1865).

Первые упоминания об усадьбе относятся к 1816 году, когда она принадлежала генерал-майору Якову Мерлину. Комплекс включал главный дом, несколько деревянных жилых флигелей и хозяйственные постройки, которые до наших дней не сохранились. Однако белокаменная ограда с металлическими воротами и ограждениями уцелела и сейчас находится между домами № 5 и 7 в Дашковом переулке.

После Мерлина усадьба перешла к Андрею Дашкову. В 1840-х годах в главном доме жил его сын Василий Дашков (1819, 1896), будущий директор Румянцевского музея в Москве, располагавшегося в Доме Пашкова на Ваганьковском холме. Там хранилась богатая коллекция старинных рукописей и книг, собранная графом Николаем Румянцевым. В доме Андрея Дашкова также проживал его зять, художник и вице-президент Академии художеств князь Григорий Гагарин (1810, 1893).

После смерти Андрея Дашкова в 1865 году особняк сменил несколько владельцев, некоторые из которых сдавали его в аренду. В советское время в здании находились коммунальные квартиры и Госснаб Казахской ССР.

Дом в Дашковом переулке представляет не только мемориальную, но и архитектурную ценность, являясь типичным образцом жилой застройки Москвы начала XIX века. Лаконичное декоративное оформление здания отражает черты классицизма. Внутри сохранились изразцовые печи и историческая лестница, а на полу первого этажа выложены узоры из метлахской плитки. Главный фасад украшен ризалитом с квадратными полуколоннами и прямыми лепными карнизами, а на крыше расположены слуховые окна.

В 2017 году начались работы по реставрации дома и его адаптации к современному использованию. Была разобрана поздняя деревянная пристройка, закрывавшая исторические оконные проемы, усилены несущие конструкции, отреставрирована кирпичная кладка стен и восстановлена декоративная отделка фасадов. Оконные проемы вернули к прежним размерам и установили двойную столярку, выполненную по аналогам XIX века.

Работы с крышей включали замену стропильной системы и покрытие кровельным железом, а также воссоздание конструкции слуховых окон. Реставраторы восстановили каменное крыльцо главного входа и белокаменный цоколь по периметру дома.

В ходе реставрации была возвращена историческая планировка здания с минимальными изменениями для современного использования. В интерьерах раскрыли и отреставрировали старинные изразцовые печи, а каменные ступени лестницы воссоздали по образцу оригинальных.

Реставрация завершилась в феврале 2019 года. Дом стал лауреатом конкурса Правительства Москвы на лучший проект сохранения и популяризации объектов культурного наследия "Московская реставрация, 2019". Сейчас в нем расположено детское отделение лечебного центра.