С середины XVIII века усадьба на Пятницкой улице принадлежала богатому купцу и строителю церкви Климента, папы Римского, Кузьме Матвеевичу Матвееву. После 1758 года на этом участке началось строительство первых каменных зданий. В 1780-е годы, когда усадьбой владела Анна Григорьевна Матвеева, вдова предыдущего хозяина, на красной линии Пятницкой улицы был построен двухэтажный П-образный главный дом. Перед нашествием Наполеона на Москву здание надстроили третьим этажом. В пожаре 1812 года дом пострадал, но его восстановили. Через шесть лет Матвеевы продали усадьбу городу, чтобы разместить на ее территории Пятницкую полицейскую часть и пожарное депо. Над центральной частью здания возвели трехъярусную деревянную каланчу, а со стороны двора пристроили крылья.

Для нужд полиции внутреннюю планировку дома изменили, но в последующие десятилетия значительных перемен не было. В XIX веке на первом этаже находились казармы для полицейских и пожарных, комната писаря, квартиры помощника врача и машиниста. На втором этаже размещались канцелярия и большая квартира частного пристава, начальника полицейской части, а на третьем, квартиры доктора и письмоводителя, а также телеграф. В здании было три лестничные клетки, а со стороны Кузнецкой (Новокузнецкой) улицы разбили сад. В 1920 году каланчу убрали, но пожарная часть оставалась здесь еще несколько лет. В советское время частично разобрали южное крыло здания.

Сегодня бывший дом Матвеевых исследован и отреставрирован. Здание почти полностью сохранило объемно-пространственное решение и планировочную структуру 1830-50-х годов. Композиция главного фасада относится к концу XVIII, началу XIX века. Основание дома выделено рустованным цокольным этажом, а центральная часть украшена шестиколонным коринфским пилястровым портиком на ризалите. Нижняя часть портика подчеркнута изящными балюстрадами. Два окна в боковых частях фасада украшены пилястрами с архивольтами и круглыми розетками, что характерно для высокого классицизма. Сегодня дом на красной линии Пятницкой играет важную роль в застройке улицы. В настоящее время здесь расположен центральный офис партии «Яблоко».