Главный усадебный дом, расположенный торцом к переулку, основан на палатах середины XVIII века. В то время усадьбой владел тайный советник и генерал-майор Иван Иванович Дивов. Он ненадолго занимал должность генерал-полицмейстера Москвы, а после возвращения в Петербург сдавал свою московскую усадьбу. Двухэтажный барочный дом украшали парадный фасад с портиком и ионическими капителями, а также окна с нарядными наличниками. Дворовый фасад выходил на большой сад с прудом, который почти доходил до нынешнего Садового кольца.

В 1783 году наследники Дивова продали усадьбу генерал-майору Василию Сергеевичу Нарышкину из известного дворянского рода. Нарышкин перестроил дом в классическом стиле, добавив третий этаж и новое декоративное оформление. Оба фасада украсили пилястровые портики коринфского ордера с гирляндами на фризе, а в треугольном фронтоне разместился герб Нарышкиных. Классицистические флигели и хозяйственные постройки вместе с главным домом образовали ансамбль парадного двора. Классический облик усадьбы, сложившийся в конце XVIII века, сохранился почти без изменений, и она практически не пострадала в пожаре 1812 года.

В 1816 году новым владельцем стал генерал-майор Петр Никифорович Ивашев, участник русско-турецких войн и войны 1812 года. После его отъезда в родовое имение под Симбирском, в усадьбе жил его сын, ротмистр Василий Петрович Ивашев, будущий декабрист. Здесь его арестовали в январе 1826 года за участие в заговоре и принадлежность к тайному обществу, приговорив к каторге и лишив дворянского достоинства. В усадьбе жила и его будущая жена, Камилла ле Дантю, дочь гувернантки Ивашевых. Она последовала за ним в Сибирь, где они поженились в 1831 году. У них было четверо детей, но жизнь их была недолгой: Камилла умерла в 1840 году, а Ивашев, через год.

С 1829 года в усадьбе Ивашевых работал "Институт для исправления телесных повреждений" доктора Людвига Мандилени. В 1832 году усадьбу выкупили для Опекунского совета, и до 1843 года здесь продолжал действовать Ортопедический институт. Вероятно, в это время было создано оформление парадных помещений главного дома, включая потолочную лепнину, пилястры из искусственного мрамора и филенчатые двери.

В 1844 году усадьбу передали под Полицейскую больницу, основанную по предложению доктора Федора Петровича Гааза. Больница находилась под управлением Комитета попечительства о тюрьмах и принимала арестантов и "бесприютных больных". Гааз был назначен главным врачом и жил в одном из флигелей. Он умер в больнице в 1853 году, и его гроб москвичи несли на руках до Немецкого кладбища. В 1883 году больницу преобразовали в городскую больницу имени императора Александра III для состоятельных пациентов. В 1909 году во дворе больницы установили бюст-памятник доктору Гаазу, выполненный скульптором Николаем Андреевым, с его девизом "Спешите делать добро".

После революции 1917 года больница стала называться Гаазовской и существовала до 1921 года, а в 1924 году здесь разместился Институт гигиены и труда профзаболеваний. С 1959 года и по настоящее время в усадьбе находится НИИ гигиены детей и подростков.