Старейшее каменное гражданское здание на Таганской улице расположено во дворе владения № 5. В 1724 году здесь, в бывшей Семеновской черной слободе за Таганскими воротами Земляного города, Афанасий Кириллович Гребенщиков, торговец из «гостиной сотни», открыл фабрику по производству «ценинной и табачных трубок» продукции. Термин «ценинная» происходит от немецкого слова Zinn, означающего олово, которое изначально входило в состав глазури для керамических изделий. Ассортимент фабрики был разнообразным: от трубок и дешевой посуды до дорогих фаянсовых сервизов и статуэток.

На территории двора Гребенщикова находились палаты, построенные на рубеже XVII и XVIII веков, которые сохранились до наших дней (Таганская, д. 5, стр. 2), а также фабричные постройки, которые не сохранились.

Афанасий Кириллович был знаком с Дмитрием Ивановичем Виноградовым, автором труда о производстве фарфора в России, которого часто называют «отцом отечественного фарфора». Сын Афанасия, Иван Афанасьевич, талантливый изобретатель, в 1747 году раскрыл секрет изготовления фарфора из гжельских глин. Однако самостоятельно наладить фарфоровое производство Гребенщиковы не смогли из-за высокой стоимости. Государственную субсидию они также не получили, поэтому продали свои разработки Гарднерам, которые начали производство порцелана на заводе в Вербилках. Этот завод позже вошел в фарфоровую империю Матвея Сидоровича Кузнецова и действует до сих пор.

Гребенщиковы сосредоточились на производстве высококачественной фаянсовой посуды. Их мануфактура получала заказы от знати, богатых купцов и даже царского двора.

Главный дом усадьбы на Таганской улице неоднократно перестраивался. В XIX веке он получил эклектическую отделку фасадов, а остатки барочной отделки скрыты под штукатуркой.

Особняк находится под государственной охраной и хранит память о крупнейшей московской керамической фабрике XVIII века.