Прекрасный образец классической московской архитектуры, включенный М. Ф. Казаковым в альбом лучших частных зданий города, украшает угол Романова переулка и Большой Никитской улицы.

Самая старая часть дома, расположенная по переулку, относится к середине XVIII века. Возможно, этот флигель включает в себя фрагменты древних палат боярина Богдана Матвеевича Хитрово, стоявших здесь в XVII веке. В XVIII веке угловой участок принадлежал обер-президенту магистрата С. Зиновьеву, затем стольнику С. Клокачеву, с 1761 года князю А. Голицыну, а с 1765 года, графу Владимиру Григорьевичу Орлову, младшему из знаменитых братьев Орловых.

Главный дом дважды перестраивался в конце XVIII века. В 1792 году он стал двухэтажным, а в 1799 году для капитальной перестройки был приглашен М. Казаков. Со стороны двора между двумя ризалитами были возведены каменные двухэтажные «сени», вестибюль с балконом, на который могли выходить танцующие, что сделало дом уникальным в Москве. В альбомах Казакова сохранились чертежи с внутренней отделкой залов, включая диваны и люстры.

В 1830-е годы после пожара восстановлением и отделкой дома занимались О. Бове и С. Кампиони, тогда появился третий этаж.

Фасад дома со стороны улицы строго симметричен, его центр выделен портиком из четырех пилястр коринфского ордера, а до пожара 1812 года они были ионическими. Между пилястрами в центре расположены барельефы на античные сюжеты, возможно, работы С. Кампиони.

На втором этаже дома находилась большая бальная зала. Со стороны сада она выходила на открытую галерею, где гости могли прогуливаться, охлаждаясь после танцев. Сейчас она закрыта, видны только остатки колонн, которые ее украшали. На третьем этаже в мезонине располагалась домовая церковь Святого Владимира, отделка которой сохранилась с конца XVIII века. На первом этаже был грот, облицованный кораллом. Второй этаж сохранял отделку Бове, немного измененную в конце XIX века.

С детьми графа Орлова занимался их домашний учитель В. Кюхельбекер, в доме жил крепостной Орлова, композитор А. Гурилев. Позднее дом перешел к дочери Орлова, Софье Владимировне Паниной, а после нее и до 1917 года принадлежал князьям Мещерским: дочери Софьи Паниной Марии, вышедшей замуж за князя Н. Мещерского, внука Н. Карамзина, и их потомкам. В 1860 году здесь скончался декабрист С. Трубецкой.

С 1934 по 1970 год в здании размещался исторический факультет Московского университета, затем издательство Московского университета, которое теперь делит его с престижными ресторанами.