Главный дом усадьбы князя Василия Алексеевича Хованского, памятник истории и культуры, приобрел свой ампирный стиль после пожара 1812 года. Это единственный дом XVIII века, сохранившийся на Арбате. В этом доме в 1799 году родился Дмитрий Свербеев, друг Пушкина и мемуарист. В 1820-х годах домом владел отставной корнет граф Василий Алексеевич Бобринский, внук Екатерины II и графа Григория Орлова, который был покровителем и другом многих декабристов. Здесь он жил под секретным надзором полиции, пережидая опалу, которая, впрочем, не сильно повлияла на его карьеру. Через девять лет он уехал в Петербург, а усадьбу продал. С 1834 по 1835 годы в этом доме жила актриса Екатерина Семенова-Гагарина. Александр Пушкин упомянул её в «Евгении Онегине»:

Там Озеров невольны дани

Народных слез, рукоплесканий

С младой Семеновой делил….

Екатерина Семенова была малограмотной крепостной актрисой, но очень талантливой. Она добилась успеха и блистала в московских театрах. Пушкин часто видел её в спектаклях и встречался с ней в петербургских литературных кругах. Один из первых экземпляров «Бориса Годунова» был подарен ей с надписью «Семеновой, от сочинителя».

В середине XIX века дом приобрело военное ведомство, которое остается здесь до сих пор. С 1921 года здесь размещается Революционный военный трибунал Московского военного округа, ныне Московский окружной военный суд.

Отдельной достопримечательностью является стена дома, выходящая в Кривоарбатский переулок. В 1990 году на ней появилась надпись «Сегодня погиб Виктор Цой», на которую вскоре ответили: «Цой жив». В 2006 году надписи пытались закрасить, но стена была восстановлена. У поклонников музыканта есть традиция оставлять в специальной пепельнице у стены надломленную прикуренную сигарету.