Дом Дворцового ведомства был построен в 1817 году и перестроен в 1837 году. Здание выполнено в стиле ампир и имеет два этажа. На фасаде выделяется пятиосевой мезонин и украшенный лепниной портик в дорическом стиле, который поддерживается шестью колоннами на первом этаже. Стены нижнего этажа оформлены рустовкой.

С 1820 по 1830 год в этом доме проживали князь и сенатор И. А. Гагарин, известный в литературных кругах, и его возлюбленная, а затем жена, актриса Екатерина Семёновна Семёнова, выступавшая в Александринском театре. В 1860-х годах здесь жил декабрист А. Н. Муравьёв, вернувшийся из ссылки после конфликта с Шереметевым.