Дом Мильгаузена был возведен на рубеже XVIII и XIX веков, основываясь на палатах XVII века. Этот строгий классицистический дом украшает ротонда с круглым куполом и пилястрами, плоскими декоративными элементами, выступающими в виде прямоугольников. Ротонда выглядит выше основной части здания, так как из-за особенностей рельефа полуподвальный этаж под ней выше и даже имеет окна.

В начале XIX века владельцем дома был Богдан Мильгаузен (1781 или 1782, 1854), доктор медицины, заслуженный профессор медико-хирургической академии и действительный статский советник. В семье Мильгаузенов было пятеро детей: двое сыновей и три дочери. Сыновья, Федор и Александр, учились в пансионе Леонтия Чермака вместе с будущим писателем Федором Достоевским. Пансион находился неподалеку, на Новой Басманной улице. Здание пансиона не сохранилось, и в начале XX века на его месте построили доходный дом.