L'histoire de l'hôtel particulier commence au début du XIXe siècle, lorsqu'il appartenait à la commerçante moscovite Elizaveta Ivanovna Vandyshnikova. La maison principale de l'hôtel particulier, construite à la fin du XVIIIe siècle, était en pierre, de plain-pied avec un mezzanine au centre et avait une apparence classique. Elle était située à une certaine distance de la rue, avec un grand jardin et des bâtiments agricoles derrière. L'hôtel particulier n'a pas été endommagé lors de l'incendie de 1812. En 1817, il est passé à la secrétaire de province Maria Semyonovna Alexeeva, qui l'a vendu en 1823 au prince Kirill Alexandrovich Bagration. Le nouveau propriétaire appartenait à la célèbre famille princière des Bagration; son neveu était le célèbre général Piotr Ivanovich Bagration. Kirill Alexandrovich a également fait carrière dans l'armée, atteignant le grade de général-major et devenant sénateur. Après sa mort, l'hôtel particulier a été hérité par sa veuve Alexandra Ivanovna Bagration.

Au début des années 1860, l'hôtel particulier est passé à Sofia Frantsevna de Monsi, épouse d'un commerçant français, puis en 1868 à sa sœur Emilia Frantsevna von Vogau et à son mari Philipp Maximilian von Vogau. Von Vogau, représentant de la noblesse allemande appauvrie, est arrivé en Russie en 1827 et a fondé une entreprise de commerce de thé et de produits coloniaux. Avec le temps, l'entreprise est devenue un grand conglomérat, s'occupant de commerce et d'industrie.

Sous la direction de Vogau, l'hôtel particulier a été reconstruit : la maison principale a été agrandie et un deuxième étage a été ajouté. Dans les années 1880, les façades de la maison ont été modifiées selon le projet de l'architecte Viktor Kossov dans un style éclectique avec des éléments classiques. Kossov a également conçu d'autres bâtiments pour la famille Vogau.

En 1892, l'hôtel particulier est passé à la fille de Philipp Maximilian von Vogau, Emma Maximovna Banza, et à son mari Konrad Banza. La famille Banza a été les derniers propriétaires de l'hôtel particulier avant sa nationalisation après 1917.

Depuis début 2014 jusqu'en juin 2015, une vaste restauration a été réalisée dans l'hôtel particulier. Les façades, la toiture et le système de drainage ont été rénovés, et les éléments architecturaux ont été restaurés. Dans les intérieurs, les murs, les plafonds, les escaliers et le parquet ont été rénovés, et de l'or en feuille a été utilisé pour la décoration. L'hôtel particulier a été lauréat du concours "Restauration de Moscou" en 2015 pour la meilleure organisation des travaux de réparation et de restauration.