Трехэтажное здание в стиле позднего классицизма находится на углу Воздвиженки и Романова переулка. Особое внимание привлекает угловая купольная ротонда с колоннами тосканского ордера, чья живописность выделяется на фоне более сдержанных фасадов боковых корпусов. О ранней истории дома известно немного, и исследователи не пришли к единому мнению о точной дате его постройки и имени архитектора. Известно лишь, что строительство началось в 1790-е годы по заказу А.К. Разумовского, сына графа К.Г. Разумовского, известного вельможи елизаветинской эпохи. В 1799 году Разумовский продал дом своему зятю Н.П. Шереметеву.

Николай Петрович Шереметев, наследник знатного рода и владелец лучшего крепостного театра, вошел в историю как меценат и благотворитель. Он осмелился нарушить сословные границы, женившись на своей крепостной, талантливой актрисе Прасковье Ивановне Жемчуговой. В новый дом Шереметевы переехали в 1801 году, который стал судьбоносным для них: их многолетний союз был узаконен браком. Однако супруги прожили здесь недолго, вскоре переехав в Петербург. В 1803 году Прасковья Ивановна скончалась, и этот дом стал ее последним московским адресом.

Граф Шереметев посвятил остаток жизни благотворительности и почти завершил создание Странноприимного дома, задуманного при жизни супруги. В 1809 году он умер, и дом на Воздвиженке перешел к его сыну Дмитрию, который продолжил дело отца. Дмитрий увеличил возможности Странноприимного дома, который до 1917 года оставался под опекой Шереметевых. Он также жертвовал значительные суммы на строительство учебных заведений, церквей и благотворительных учреждений. Последний дореволюционный владелец дома, Сергей Дмитриевич Шереметев, был известен как общественный деятель и автор трудов по истории Москвы и подмосковных усадеб. Среди его работ, книга о родовом особняке на Воздвиженке, в которой описаны здание, его обитатели и дух того времени.

После смерти С.Д. Шереметева в 1918 году особняк был передан под коммунальное жилье. В конце XX века дом лишился лестниц парадного входа, которые, к счастью, были восстановлены. Здание отреставрировано и сейчас в нем располагаются «Москомстройинвест» и Департамент развития новых территорий Москвы.