Эта усадьба на Пречистенке была перестроена в классическом стиле после пожара 1812 года на месте сгоревшего дома Талызиных. Новая постройка была выполнена из камня. Главный дом, имеющий Т-образную форму и расположенный вдоль Пречистенки, строился с 1817 по 1820 год. По некоторым сведениям, проектировал его известный архитектор Ф.К. Соколов, участвовавший в восстановлении Москвы. Усадьба для нового владельца, гвардии корнета Павла Яковлевича Охотникова, выглядела величественно, почти как дворец. Фасад дома украшал восьмиколонный портик с лепным фронтоном. Арочные проезды вели во двор, где находились флигели, конюшни, каретный сарай и домовая церковь. Известно, что интерьеры этого дома использовались для декораций к постановке комедии «Горе от ума» в Малом театре.

В 1879 году усадьба перешла к купцам Пеговым, которые владели ею до 1915 года. В 1882 году здание арендовали для гимназии Поливанова, основанной в 1868 году. Гимназия была учреждена выдающимися педагогами Софьей Арсеньевой и Львом Поливановым. Между гимназиями Арсеньевой и Поливанова существовала тесная связь: мальчики учились у Поливанова, а девочки, у Арсеньевой. Преподавание было общим, и ученики часто знали друг друга.

Лев Поливанов основал мужскую гимназию в возрасте 30 лет и вскоре полностью посвятил себя ей. Преподаватели гимназии прославились своими новаторскими программами. Обучение стоило дорого, поэтому здесь учились дети из богатых семей. Однако выпускники гимназии становились известными по всей России и за её пределами.

Гимназия занимала трехэтажный дом. На первом этаже располагались гардеробная и служебные помещения, на втором, квартира Поливанова и основные классы, а на третьем, дортуары и столовая. Уроки длились 50 минут, после чего следовала перемена. В гимназии не было обязательной униформы, и молитвы не проводились.

Из гимназии вышли многие известные люди, такие как писатели и философы Владимир Соловьев, Валерий Брюсов, Андрей Белый, Максимилиан Волошин, художник Александр Головин и чемпион мира по шахматам Александр Алехин. Лев Толстой также отправил сюда своих сыновей на обучение.

После смерти Поливанова в 1899 году гимназию возглавил его сын Иван. В 1915 году дом перешел к лесопромышленнице В.И. Фирсановой, которая перестроила его по проекту архитектора А.И. Таманяна. В 1921 году в усадьбе разместилась Государственная Академия художественных наук, а с 1924 года здание связано с именем Михаила Булгакова.

В 1963 году главный дом был реставрирован. Сейчас здесь находятся Детская художественная школа № 1 и Детская музыкальная школа № 11 им. В.И. Мурадели, где проводятся «Поливановские вечера на Пречистенке».