В глубине пустыря, оставшегося после сноса домов, рядом с Патриаршим пешеходным мостом, расположено двухэтажное кирпичное здание, окрашенное в жёлтый цвет. Оно уцелело благодаря своей древности, ведь в его основе лежат палаты XVI века. Имя строителя дома неизвестно, а само здание неоднократно перестраивалось. Между подвалом и первым этажом сохранились сводчатые и коробковые перекрытия. Недавно проведённый ремонт привёл к утрате старинного деревянного наката между первым и вторым этажами. На восточном фасаде восстановлены узорочные наличники парадного этажа, а на южном, наличники подклета: простые с треугольным фронтоном XVII века и барочные, ушастые XVIII века. Эти элементы можно увидеть под пластиковым навесом в приямке у стен здания.

До революции здесь находилась городская усадьба известной семьи водочников Смирновых. Иван Алексеевич Смирнов приобрёл владение на Берсеневской набережной в 1863 году и через пять лет купил дополнительный участок, часть бывшего Винно-Соляного двора, для строительства водочного завода. Место было выбрано удачно: живописный берег реки напротив храма Христа Спасителя. Позже завод и усадьба перешли к его сыну Сергею Ивановичу, который в 1874 году основал Торговый дом «И. А. Смирнова сыновья» с капиталом 60 тыс. рублей.

Более известен его двоюродный брат Пётр Арсеньевич, начавший карьеру приказчиком у своего дяди Ивана Алексеевича и имевший контору неподалёку, у Чугунного моста.

Последним владельцем особняка до революции был Сергей Сергеевич Смирнов. После 1917 года водочный завод перешёл к Мосгорсовнархозу и некоторое время продолжал работать, но позже был закрыт, а его корпуса снесли при строительстве Дома на набережной.

Городская усадьба Смирновых на Берсеневской набережной охраняется государством как объект культурного наследия регионального значения.