Изначально это была усадьба И.О. Цурикова. После 1812 года главный дом был построен, предположительно, архитектором М.Ф. Казаковым для семьи Нарышкиных, и в нем проживал декабрист М.М. Нарышкин. В этом доме собирались члены тайного общества декабристов, такие как К.Ф. Рылеев и И.И. Пущин. В январе 1826 года здесь были арестованы Михаил Нарышкин и Иван Пущин. Позднее здание украсили барельефом с изображением кандалов, переплетенных лавровыми ветвями.