Das Haus Milgauzen wurde an der Schwelle des 18. und 19. Jahrhunderts erbaut, basierend auf den Sälen des 17. Jahrhunderts. Dieses strenge klassizistische Haus wird von einer Rotunde mit einer runden Kuppel und Pilastern, flachen dekorativen Elementen, die in Form von Rechtecken hervortreten, geschmückt. Die Rotunde wirkt höher als der Hauptteil des Gebäudes, da aufgrund der Besonderheiten des Geländes das Untergeschoss darunter höher ist und sogar Fenster hat.

Zu Beginn des 19. Jahrhunderts war der Besitzer des Hauses Bogdan Milgauzen (1781 oder 1782, 1854), Doktor der Medizin, verdienter Professor der medizinisch-chirurgischen Akademie und wirklicher Staatsrat. In der Familie Milgauzen gab es fünf Kinder: zwei Söhne und drei Töchter. Die Söhne, Fedor und Alexander, besuchten das Internat von Leontiy Chermak zusammen mit dem zukünftigen Schriftsteller Fedor Dostojewski. Das Internat befand sich in der Nähe, in der Neuen Basmanstraße. Das Gebäude des Internats ist nicht erhalten geblieben, und zu Beginn des 20. Jahrhunderts wurde an seiner Stelle ein Mietshaus erbaut.