Desde principios de la década de 1680, la propiedad cerca de las puertas de Yauza, junto a las murallas de la Ciudad Blanca (en la década de 1760, en el lugar de las murallas demolidas se construyeron bulevares), pertenecía al estól'nik Alexei Petrovich Golovin. Aquí se encontraban habitaciones de madera. Su hijo, el boyardo Feodor Alexeievich, conocido almirante general y cercano compañero de Pedro I, uno de los primeros en Rusia en recibir el título de conde, construyó entre 1685 y 1689 en su propiedad urbana una iglesia de ladrillo, consagrada en honor a la icono de Kazán de la Madre de Dios, cuyos fachadas fueron realizadas en estilo barroco.

Con el tiempo, en 1748, las viejas habitaciones de los Golovin se quemaron. Poco después, la propiedad fue adquirida por el príncipe S. I. Shcherbatov. A finales de la década de 1750, su viuda Natalia Stepanovna construyó aquí palacios de piedra de dos pisos en estilo barroco elizabetiano y conectó el edificio residencial con la iglesia mediante un pasaje.

En 1785, la mansión fue vendida al consejero secreto Andrei Dmitrievich Karpov y su esposa Natalia Alexeievna. Después de la demolición de las murallas de la Ciudad Blanca, la mansión, que anteriormente estaba orientada con su fachada principal hacia el oeste, se volvió hacia los bulevares. A finales del siglo XVIII, la casa fue reconstruida en estilo clásico.

En el incendio de 1812, la mansión no sufrió daños. En 1822, fue adquirida por el general de división retirado Nikolai Zakharovich Khitrovo, en honor a quien fue nombrada la vecina Plaza Khitrovskaya. Nikolai Zakharovich, un oficial de combate, participó en las guerras de 1805-1811 contra Francia y Turquía, participó en el asedio de Brailov y se retiró tras resultar herido. Fue miembro del círculo de M. M. Speransky, por lo que fue desterrado a Vyatka, y luego a su propiedad cerca de Tarusa. Gracias a la intervención de su suegro, el mariscal M. I. Kutuzov-Smolensky, casado con su hija Anna, en 1813 fue perdonado y se mudó a Moscú.

Bajo su mando, la antigua casa de los Shcherbatov fue reconstruida, y sus fachadas adquirieron decoraciones en estilo imperio. En el tímpano del frontón apareció un escudo de armas del linaje Khitrovo, y a ambos lados del pórtico de seis columnas, perfiles masculinos en relieve con armamento antiguo. Según una de las versiones, este es un retrato escultórico del propietario de la mansión.

La iglesia de la casa también fue reconstruida y reconsagrada en honor a la icono de Tikhvin de la Madre de Dios, especialmente venerada en la familia Khitrovo.

Tras la muerte de N. Z. Khitrovo en 1826, la mansión fue vendida por sus herederos. En 1843, pasó al coronel de la guardia Vladimir Ivanovich Orlov, y en 1851, a su viuda Ekaterina Dmitrievna. La pareja no tuvo hijos, y según el testamento de V. I. Orlov, tras la muerte de su viuda en 1889, la mansión pasó a disposición del Comité de Beneficencia de Moscú para los Pobres de la Sociedad Imperial de Humanidad.

En la antigua mansión se organizó la "Clínica Orlov del Comité de Beneficencia de Moscú para los Pobres, para enfermos indigentes que acudían", bajo el patrocinio del príncipe Alexander Petrovich de Oldenburg. La iglesia de la casa, que había sido cerrada para entonces, fue reabierta y reconsagrada en honor a la icono de Smolensk de la Madre de Dios. La clínica funcionaba diariamente de 10 a 14 horas y tenía "un departamento especial con 5 camas para pacientes quirúrgicos y una farmacia con suministro gratuito de medicamentos". La institución benéfica estaba destinada a los residentes de Khitrovka, donde eran tratados, se realizaban operaciones sencillas y se alimentaba en el comedor.

Después de la revolución, tanto la clínica como la iglesia fueron cerradas. La iglesia de la icono de Smolensk de la Madre de Dios fue demolida en la década de 1930 durante la construcción del Edificio Residencial de la Academia Militar de Ingeniería V. V. Kuybyshev.

En la casa principal de la mansión de los Golovin, Shcherbatov, Khitrovo, Orlov, ya en 1922 se establecieron cursos de paramédicos, reorganizados en 1923 en una escuela de paramédicos de tres años llamada en honor al Departamento de Salud de la Sociedad de Todos los Médicos. En 1928, la escuela fue transformada en el Politécnico Médico Clara Zetkin (desde 1954, Escuela Médica de Moscú No. 2 en honor a Clara Zetkin). Actualmente, aquí se encuentra el Colegio Médico Clara Zetkin.

A finales del siglo XX, el edificio fue restaurado. En la fachada occidental, donde ahora se encuentra la entrada al colegio médico, los restauradores restauraron la decoración en estilo barroco de mediados del siglo XVIII. En la fachada opuesta, se conservan elementos de decoración de la época de N. Z. Khitrovo.

El edificio del antiguo Hospital de Orlov está bajo protección estatal como objeto de patrimonio cultural de importancia federal.