Усадьба начала формироваться в 1756 году, когда И.И. Воронцов-Вельяминов возвел небольшой дом с угловыми пилястрами вдоль Большой Никитской. В 1770-х годах владение перешло к Долгоруковым, которые расширили усадьбу до Поварской улицы и построили два симметричных служебных корпуса с круглыми угловыми помещениями по краям главного дома. На рубеже XVIII и XIX веков главный дом был надстроен мезонином, украшен двумя портиками и оформлен в строгом классическом стиле.

В 1812 году в доме квартировали французы, но пожар его не затронул. Во второй половине XIX века усадьба перешла к баронам Боде-Колычевым и оставалась в их владении до 1917 года. Барон Михаил Львович Боде приобрел усадьбу около 1853 года вместе с усадьбой Ликино в современном Переделкине. Его мать, Наталья Федоровна Колычева, была последней в своем роду, поэтому в 1876 году Михаил Львович присоединил к своей фамилии фамилию матери и стал бароном Боде-Колычевым. Он был женат на Александре Ивановне Чертковой. При нем двор усадьбы приобрел современную замкнутую композицию. В 1859 году к восточному торцу главного дома была пристроена домовая церковь во имя святителя Филиппа (Колычева), где в 1866 году венчались И.С. Аксаков и А.Ф. Тютчева. Михаил Львович, будучи историком и археологом, превратил дом в музей древностей, где был зал с родословным древом Колычевых и Боде. Он собрал и издал родословие рода Колычевых в книге «Боярский род Колычевых».

В середине XIX века здесь останавливалась вдова А.С. Грибоедова Нина Чавчавадзе, и бароны Боде сохранили обстановку ее комнаты как мемориальную.

Михаил Львович умер в 1888 году, и усадьба перешла к его дочери Наталье Михайловне, которая была замужем за графом Федором Львовичем Соллогубом. Он умер в 1890 году в возрасте 42 лет. Наталья Михайловна скончалась в 1916 году, и дом перешел к ее старшей дочери Елене Федоровне Соллогуб.

Дом был хорошо знаком Льву Толстому. Старшая сестра Натальи Михайловны, Мария Михайловна, была первой женой Михаила Сергеевича Сухотина, который после ее смерти женился на старшей дочери Толстого, Татьяне Львовне. Дочь Сухотина от первого брака, Наталья Михайловна, стала второй женой князя Николая Леонидовича Оболенского, который был женат на средней дочери Толстого, Марье Львовне. Сын Сухотина, Сергей, был первым мужем внучки Толстого, Софьи Андреевны Толстой, которая позже вышла замуж за Сергея Есенина.

Еще до всех этих родственных связей, во времена баронов Боде, Толстой бывал здесь на балах и приемах. Именно этот дом он описал как Дом Ростовых в романе «Война и мир».