Этот дом расположен на улице Воздвиженка и сохранился здесь с конца XVIII века. В 1783 году князь Алексей Яковлевич Шаховской построил двухэтажный дом с антресольным этажом, флигелями и парадными воротами, выходящими на Калашный переулок. Алексей был младшим сыном князя Якова Петровича Шаховского, обер-прокурора Святейшего Синода и автора известных автобиографических "Записок". Его мать, Евдокия Егоровна Лопухина, была урождённой Фаминцыной. Дом, где Алексей вырос, находился рядом, у церкви Бориса и Глеба на Арбатской площади.

С 1842 года дом стал принадлежать врачам. Сначала его владельцем был известный врач И.И. Краузе. В 1852 году архитектор Н.И. Козловский перестроил здание, когда оно принадлежало штабс-ротмистру Николаю Яковлевичу Козлакову. Изменения касались в основном фасада и внутренних помещений. Первый этаж был отведен под магазины, а остальные, под квартиры. Дом приобрел эффектный фасад в стиле рококо, с полукруглыми наличниками, фронтонами окон второго этажа, украшенными цветочными гирляндами, раковинами и волютами. В народе его стали называть «рокайльным».

В 1868 году усадьбу приобрел врач Дмитрий Тимофеевич Осиповский. Его отец, Тимофей Федорович Осиповский, был известным ученым, профессором высшей математики и астрономии, ректором Харьковского Императорского университета. В конце жизни он переехал с семьей в Москву и был похоронен на Ваганьковском кладбище. Дмитрий окончил медицинский факультет Московского университета и долгое время работал в различных московских больницах. В 1878 году Дмитрию Тимофеевичу Осиповскому было пожаловано дворянство, и на фронтоне дома появился герб Осиповских.

Племянницей жены Дмитрия Тимофеевича была Елизавета Григорьевна Вареникова, соседка А.П. Чехова по Мелихову. Чехов упомянул ее семью в своих рассказах «Крыжовник», «Соседи», «Три года». В 1900 и 1917 годах Елизавета Вареникова жила в этом доме у своего двоюродного брата Дмитрия Дмитриевича Осиповского.