Владение на Гоголевском бульваре, 5/2, в XVIII веке было частью городской усадьбы князя Петра Васильевича Лопухина, который занимал важные государственные посты, включая руководство Кабинетом министров при Павле I. Его успешная карьера во многом была связана с дочерью Анной Гагариной, фавориткой императора.

Современное здание, богато украшенное, было возведено в 1850-1853 годах архитектором Николаем Ильичом Козловским для статского советника Петра Федоровича Секретарева. Он был сыном бывшего камердинера Григория Потемкина и Екатерины II, а также известным меценатом, содержавшим небольшой театр в Нижнем Кисловском переулке, известный как «Секретарёвка».

Фасад дома украшен резными колоннами из белого камня и представляет собой пример романтического стиля, перекликающегося с ренессансом. С этим домом связана деятельность архитектора Константина Андреевича Тона, который жил здесь во время строительства храма Христа Спасителя в 1850-е годы. Специалисты считают, что именно он создал проект для Секретарева, поскольку детали здания напоминают Оружейную палату и Большой Кремлевский дворец.

С 1926 по 1934 годы здесь жил и работал педагог-новатор Станислав Теофилович Шацкий.

Существует слух, что в этом доме жил Василий Сталин, сын Иосифа Сталина, но на самом деле он проживал в соседнем особняке на Гоголевском бульваре, 7, который находится в одном дворе с усадьбой Секретарева.

Во второй половине XX века в здании располагалось общежитие текстильной фабрики из Бутиковского переулка.

В 1990-х годах здание было реконструировано с использованием оригинальных чертежей. Работы провела московская компания «АСК Новый Век», а проект разработало архитектурное бюро «Триарт-2000».

В 2001 году организации, участвовавшие в реставрации, были отмечены в конкурсе на лучшую реставрацию и реконструкцию объектов исторической среды Москвы, завершенных в 2000 году.

Сегодня в бывшей усадьбе размещены офисы крупных российских компаний.