La mansión comenzó a formarse en 1756, cuando I.I. Vorontsov-Velyaminov construyó una pequeña casa con pilastras en las esquinas a lo largo de la Gran Nikitskaya. En la década de 1770, la propiedad pasó a los Dolgorukovs, quienes ampliaron la mansión hasta la calle Povarskaya y construyeron dos cuerpos de servicio simétricos con habitaciones redondas en las esquinas del edificio principal. A finales del siglo XVIII y principios del XIX, la casa principal fue elevada con un entrepiso, decorada con dos pórticos y diseñada en un estricto estilo clásico.

En 1812, los franceses ocuparon la casa, pero el incendio no la afectó. En la segunda mitad del siglo XIX, la mansión pasó a los barones Bode-Kolychyov y permaneció en su posesión hasta 1917. El barón Mijaíl Lvovich Bode adquirió la mansión alrededor de 1853 junto con la mansión Likino en la actual Peredelkino. Su madre, Natalia Fyodorovna Kolychyova, fue la última de su linaje, por lo que en 1876 Mijaíl Lvovich añadió el apellido de su madre al suyo y se convirtió en el barón Bode-Kolychyov. Estaba casado con Aleksandra Ivanovna Chertkova. Durante su tiempo, el patio de la mansión adquirió una composición cerrada moderna. En 1859, se añadió una iglesia doméstica en el extremo este de la casa principal en honor al santo Felipe (Kolychyov), donde en 1866 se casaron I.S. Aksakov y A.F. Tyutchev. Mijaíl Lvovich, siendo historiador y arqueólogo, convirtió la casa en un museo de antigüedades, donde había una sala con el árbol genealógico de los Kolychyov y Bode. Reunió y publicó la genealogía de la familia Kolychyov en el libro "La familia boyarda Kolychyov".

A mediados del siglo XIX, aquí se hospedaba la viuda de A.S. Griboedov, Nina Chavchavadze, y los barones Bode conservaron el mobiliario de su habitación como memorial.

Mijaíl Lvovich murió en 1888, y la mansión pasó a su hija Natalia Mijailovna, quien estaba casada con el conde Fedor Lvovich Sollogub. Él murió en 1890 a la edad de 42 años. Natalia Mijailovna falleció en 1916, y la casa pasó a su hija mayor Elena Fedorovna Sollogub.

La casa era bien conocida por León Tolstói. La hermana mayor de Natalia Mijailovna, María Mijailovna, fue la primera esposa de Mijaíl Sergeyevich Sukhotin, quien después de su muerte se casó con la hija mayor de Tolstói, Tatyana Lvovna. La hija de Sukhotin de su primer matrimonio, Natalia Mijailovna, se convirtió en la segunda esposa del príncipe Nikolai Leonidovich Obolensky, quien estaba casado con la hija del medio de Tolstói, Maria Lvovna. El hijo de Sukhotin, Sergey, fue el primer esposo de la nieta de Tolstói, Sofía Andreyevna Tolstaya, quien más tarde se casó con Sergey Yesenin.

Incluso antes de todos estos lazos familiares, en tiempos de los barones Bode, Tolstói asistía a bailes y recepciones aquí. Esta casa es la que describió como la Casa de los Rostov en la novela "Guerra y paz".