Здание в начале Делегатской улицы представляет собой архитектурный ансамбль, который формировался в XVIII-XIX веках.

Изначально на этом месте находилась московская городская усадьба. В 1786 году при Иване Андреевиче Остермане здесь был возведен трехэтажный дворец с флигелями и переходами, известный как «Дом графа Остермана».

Первоначальными владельцами территории были представители древнего рода Стрешневых. Основатель династии Романовых, Михаил Федорович, после свадьбы в 1626 году с Евдокией Лукьяновной Стрешневой подарил эти земли ее отцу Лукьяну Степановичу.

В 1660-х годах «Стрешнев огород» принадлежал Родиону Матвеевичу Стрешневу, затем его сыну Ивану, его жене и, с 1739 года, их сыну Василию Ивановичу, последнему владельцу из рода Стрешневых. При нем здесь появились первые каменные сооружения, двухэтажные палаты на каменном основании, стоявшие в глубине двора. Историк И.М. Снегирев описывал это как «огромный и великолепный дом, который почитался одним из первых в Москве».

Служебные и хозяйственные постройки располагались вдоль проезда, ведущего к Убогому дому. Позднее этот проезд стал называться Божедомским переулком, а в XX веке его переименовали в Делегатскую улицу.

После В.И. Стрешнева усадьба перешла к его племяннику, графу Ивану Андреевичу Остерману, который сразу начал ее перестройку. К 1786 году все основные сооружения были обновлены и стали каменными.

Главный дом-дворец стал трехэтажным, а двухэтажные флигеля соединились с ним полукруглыми крытыми переходами, которые имели сквозные проезды на задний двор. Курдонёр украсился двумя декоративными прудами. Планировка усадьбы приобрела трехчастную композицию, сохранившуюся до наших дней. Имя архитектора дворца неизвестно, но, вероятно, он принадлежал школе М.Ф. Казакова.

За дворцом, чуть в стороне, И.А. Остерман устроил романтический парк, который пользовался популярностью у гостей графа, жившего «открытым домом».

В ноябре 1809 года Иван Андреевич принимал императора Александра I, посетившего Москву проездом из Твери.

По завещанию усадьба переходила к внучатому племяннику И.А. Остермана, А.И. Остерману-Толстому, единственному наследнику по мужской линии и продолжателю фамилии бездетных братьев Ивана и Федора Остерманов.

Новому владельцу было строго указано «сей дом никогда не продавать и не закладывать», чтобы он «всегда оставался под названием Дома Графа Остермана».

Александр Иванович Остерман-Толстой не уделял усадьбе много внимания. Будучи военным, он чаще находился при армии, бывая в Москве лишь изредка, а когда приезжал, то предпочитал останавливаться в своем подмосковном имении Ильинском.

В 1812 году дворец сильно пострадал в московском пожаре, но во флигелях еще какое-то время жили немногие постояльцы.

Вопреки воле своего двоюродного деда Остерман-Толстой в 1827 году, навсегда покидая Россию, решил продать усадьбу. Его желание совпало с поисками новых помещений для Московской семинарии. Кто предложил Николаю I обратить внимание на владение Остермана-Толстого, неизвестно, но на одном из документов появилась резолюция: «Должно искать другой [дом], например, Графа Остермана, более уединенный и с обширным садом».

Прошло 10 лет, прежде чем в Доме графа Остермана начались семинарские занятия. В течение первых пяти лет рассматривались различные варианты переделки усадьбы. Одни архитекторы предлагали полностью снести все старые здания и возвести новые (М.Д. Быковский, 1836 г.). Другие хотели снести только второстепенные, но сохранить дворец и расширить его с восточной и западной сторон (Е.Е. Еремеев, 1839 г.). Лишь петербургский синодальный архитектор А.Ф. Щедрин предложил оставить все строения нетронутыми, восстановить сгоревший дворец и расширить его вглубь участка. Таким образом, внешний облик усадьбы не нарушался, и сохранялось здание, «издавна привлекавшее внимание московских жителей, и снос которого произвел бы неприятное впечатление».

Бережное отношение к Дому графа Остермана сохранялось и позднее. Когда семинария нуждалась в увеличении площадей, новые корпуса строились со стороны сада, не нарушая, а дополняя сложившийся ансамбль. После революции 1917 года строительных работ на усадьбе не велось. В конце 1940-х годов появилось самое высокое сооружение, здание Президиума Совета Министров РСФСР (арх. В.Г. Гельфрейх), но оно было поставлено деликатно, рядом со старинным парком, примыкая к бывшему семинарскому общежитию, и его высота терялась среди вековых лип.

Время не пощадило некоторые служебные флигеля, изменилась красная линия нынешней Делегатской улицы, исчезли пруды, сократилась территория парка, но центральное ядро московской городской усадьбы конца XVIII века с домом графа Остермана сохранило в целом свой облик и является ярким памятником архитектуры эпохи классицизма. Это один из немногих уцелевших уголков старой Москвы, где еще жив дух старинной городской усадьбы. Весь комплекс (включая пристройку конца 1940-х годов) является памятником архитектуры федерального значения и охраняется государством.