Домовладение в его нынешних границах появилось после пожара 1834 года, когда усадьба перешла к шелковому фабриканту Н.Н. Рогожину, который заново отделал главный дом и флигели. Ранее усадьбой владел купец С.П. Васильев, который с середины XVIII века также владел участком с нынешним домом № 55 и усадьбой на Николоямской, д. 51. В 1780-1781 годах вдоль улицы были построены корпус, ставший основой дома № 55, и существующий главный усадебный дом (№ 53, строение 1).

Строение 1 имеет черты разных эпох. Центральный ризалит с аттиковой стенкой, выполненный неизвестным мастером, вероятно, по типовому проекту после пожара 1812 года. Лаконичные членения на заднем фасаде и ризалит уличного фасада с широкими плоскими нишами на обоих этажах относятся к классицизму. Лепной декор уличного фасада, прямоугольный руст и замки над окнами характерны для позднего ампира и, как полагают, выполнены в 1830-х годах. Несмотря на сравнительно небольшие размеры, дом приобрел монументальный вид. Архитектор, переделывавший дом в ампирном стиле, неизвестен.

Частично сохранилась внутренняя отделка главного дома, выполненная в 1831 году в стиле ампир. Особое внимание уделили парадной анфиладе на втором этаже, которую украсили лепниной, а основной вход оформили порталом. В 1880-е годы в доме установили парадную лестницу из каслинского литья, а вестибюль выстлали чугунными плитами. В моду вошла эклектика, и отделка дома была обновлена: появились мраморные подоконники, украшение оконных откосов искусственным мрамором и пышная лепнина, частично сохранившаяся. Также частично сохранились сводчатые помещения в подвале и на первом этаже.

Здание реставрировалось в 1970-е годы, но в 1990-е было заброшено. Из-за протечек крыша, венчающие ряды кладки стен и карниз пришли в негодность, деревянные перекрытия прогнили, а парадные въездные ворота были утрачены. Казалось, что дом может быть потерян, но реставрация второй половины 2010-х годов вернула памятнику архитектуры федерального значения его исторический облик, и усадебные ворота были восстановлены.