С начала 1680-х годов владение около Яузских ворот, рядом со стенами Белого города (в 1760-е годы на месте снесённых стен были устроены бульвары), принадлежало стольнику Алексею Петровичу Головину. Здесь находились деревянные хоромы. Его сын, боярин Феодор Алексеевич, известный генерал-адмирал и близкий сподвижник Петра I, один из первых в России, получивший графский титул, построил в 1685-1689 годах в своём городском имении кирпичную церковь, освящённую в честь Казанской иконы Божией Матери, фасады которой были выполнены в барочном стиле.

С течением времени, в 1748 году, старые хоромы Головиных сгорели. Вскоре после этого владение приобрёл князь С. И. Щербатов. В конце 1750-х годов его вдова Наталья Степановна построила здесь каменные двухэтажные палаты в стиле елизаветинского барокко и соединила жилое здание с церковью переходом.

В 1785 году усадьба была продана тайному советнику Андрею Дмитриевичу Карпову и его жене Наталье Алексеевне. После сноса стен Белого города усадьба, ранее ориентированная главным фасадом на запад, развернулась лицом к бульварам. В конце XVIII века дом был перестроен в классическом стиле.

В пожар 1812 года особняк не пострадал. В 1822 году его приобрёл отставной генерал-майор Николай Захарович Хитрово, в честь которого была названа соседняя Хитровская площадь. Николай Захарович, боевой офицер, участвовал в войнах 1805-1811 годов против Франции и Турции, принимал участие в осаде Браилова и вышел в отставку после ранения. Он был участником кружка М. М. Сперанского, за что был сослан в Вятку, а затем в своё имение под Тарусой. Благодаря заступничеству своего тестя фельдмаршала М. И. Кутузова-Смоленского, женатого на его дочери Анне, в 1813 году он был прощён и переехал в Москву.

При нём старый дом Щербатовых был перестроен, и его фасады обрели декорации в стиле ампир. В тимпане фронтона появился лепной герб рода Хитрово, а по обеим сторонам от шестиколонного портика, лепные мужские профили с античной амуницией. По одной из версий, это скульптурный портрет владельца усадьбы.

Домовая церковь была также перестроена и переосвящена в честь Тихвинской иконы Божией Матери, особо почитаемой в семье Хитрово.

После смерти Н. З. Хитрово в 1826 году усадьба была продана его наследниками. В 1843 году она перешла к гвардии полковнику Владимиру Ивановичу Орлову, а в 1851, к его вдове Екатерине Дмитриевне. Детей у супругов не было, и по завещанию В. И. Орлова, после смерти его вдовы в 1889 году, усадьба поступила в распоряжение Московского попечительного комитета о бедных Императорского Человеколюбивого общества.

В старинной усадьбе была организована "Орловская лечебница Московского комитета попечения о бедных, для приходящих неимущих больных", находившаяся под покровительством принца Александра Петровича Ольденбургского. Закрытый к тому времени домовый храм был вновь открыт и переосвящён в честь Смоленской иконы Божией Матери. Лечебница работала ежедневно с 10 до 14 часов и имела "специальное отделение на 5 коек для оперативных больных и аптеку с бесплатным отпуском лекарств". Благотворительное учреждение предназначалось для жителей Хитровки, где их лечили, проводили несложные операции и кормили в столовой.

После революции и лечебница, и храм были закрыты. Церковь Смоленской иконы Божией Матери была снесена в 1930-е годы при строительстве Жилого дома Военно-инженерной академии им. В. В. Куйбышева.

В главный дом усадьбы Головиных, Щербатовых, Хитрово, Орловых ещё в 1922 году въехали фельдшерские курсы, реорганизованные в 1923 году в трёхгодичную фельдшерскую школу имени Губотдела Всемедиксантруда. В 1928 году школа была преобразована в медполитехникум имени Клары Цеткин (с 1954 года, Московское медицинское училище № 2 имени Клары Цеткин). В настоящее время здесь находится медицинский колледж имени Клары Цеткин.

В конце XX века здание было отреставрировано. На западном фасаде, где сейчас расположен вход в медицинский колледж, реставраторы восстановили декоративную отделку в стиле барокко середины XVIII века. На противоположном фасаде сохранились элементы декоративной отделки времён Н. З. Хитрово.

Здание бывшей Орловской больницы находится под государственной охраной как объект культурного наследия федерального значения.