Прасковья долго уговаривала мужа создать приют, где бездомные и нуждающиеся могли бы получить бесплатное лечение и кров. Супруги выбрали место для строительства на окраине Москвы, за Земляным валом у Сухаревской площади. Первоначальный проект был разработан учеником Баженова, крепостным архитектором Елизвоем Назаровым. Домовая церковь в центре здания делила его на два крыла: больницу и богадельню. Удобный подъезд для больных был украшен сдвоенными колоннами.

После смерти жены граф Шереметев поручил своему другу, архитектору Джакомо Кваренги, перестроить здание так, чтобы оно стало величественным памятником его супруге. Простое здание Назарова должно было превратиться в великолепный дворец, не имеющий аналогов в мировой архитектуре.

Кваренги не приезжал в Москву, а отправлял проекты и чертежи по почте. Его идеи воплощали русские архитекторы Миронов, Дикушин и Аргунов, которые строили для Шереметевых усадьбы в Кусково и Останкино.

Кваренги заменил простой портик на грандиозную полукруглую колоннаду, придав зданию торжественность. Торцы крыльев украсили шестиколонные портики, а к ансамблю добавили четыре флигеля. Отделка и интерьер были выполнены из лучших материалов, на строительство граф потратил три миллиона рублей, что было огромной суммой.

Николай Шереметев не дожил до открытия дома всего несколько месяцев. Оно состоялось 28 июня 1810 года, в день его рождения, при большом стечении народа. Семья Шереметевых продолжала поддерживать дом, жертвуя на его содержание значительные суммы.

По завещанию Прасковьи Шереметевой ежегодно выделялись средства на приданое для нуждающихся девушек. Они тянули жребий 23 февраля, в день памяти Прасковьи, а в Троицкой церкви дома венчались невесты-сироты.

Более 200 000 человек получили помощь в этом доме. С начала XIX века здесь находилось Московское отделение Медико-хирургической академии. К концу столетия больница укрепила связи с Московским университетом и стала его клинической базой. Ведущие ученые внедряли здесь передовые методы лечения.

Значительным этапом в истории дома стала работа главного доктора Алексея Тарасенкова. Он улучшил больничное дело, обновил прописи лекарств, установил контроль за их покупкой и назначением, организовал регулярные обходы. Он предложил открыть бесплатную амбулаторию и медицинскую кассу для помощи больным, что и было сделано.

Шереметевская больница не раз превращалась в госпиталь. После Бородинского сражения сюда привозили раненых. В день вступления французов в Москву дом опустел, остались лишь немощные и раненые офицеры. Французы, узнав, что это благотворительное учреждение, выставили караул. Однако многие ценности были похищены, а пожар повредил флигели. Восстановление заняло несколько лет.

Во время эпидемии холеры 1830 года в доме никто не заболел.

В Крымскую войну здесь собрали санитарный отряд. В Русско-японскую войну действовал лазарет. Позже лечили участников революций. В 1919 году здесь организовали Московскую городскую станцию скорой помощи, а с 1923 года разместился один из корпусов НИИ скорой помощи им. Склифосовского. Инициатива вернуть дому былой блеск принадлежала хирургу Сергею Юдину.

Главный хирург НИИ им. Склифосовского С.С. Юдин был старостой Троицкой церкви и пожертвовал на восстановление ее росписей Сталинскую премию.

В 1986 году здесь открылся Центральный музей медицины, который в 1991 году стал Научно-исследовательским центром «Медицинский музей» РАМН.

Ансамбль дома, включая главный корпус, флигели, ворота и ограду, фреску Джованни Скотти и горельефы скульпторов Замараева и Тимофеева, входит в список объектов культурного наследия и внесен в предварительный Список всемирного наследия ЮНЕСКО.