Усадьба предпринимателя Ивана Назаровича Рыбникова, расположенная на территории его суконной фабрики в Даниловской слободе, считалась одной из крупнейших в Москве, что соответствовало статусу ее владельца. Купец Рыбников был значимой фигурой в деловом мире и однажды обедал рядом с императором Николаем Первым на мероприятии, посвященном открытию мануфактурной выставки в Петербурге в 1833 году, где обсуждалась таможенная политика.

В начале XIX века усадьба и фабрика перешли к Рыбникову от князя И.С. Барятинского. Главный дом обычно датируется 1820-ми годами, хотя существует версия о более раннем здании, построенном предыдущим владельцем, которое было отделано вчерне и сгорело в 1813 году. Возможно, в новое строение вошли элементы конца XVIII века.

Окружение дома соответствовало его красоте: владение Рыбникова простиралось почти на полверсты вдоль берега Москвы-реки к югу, до устья Чуры. От Серпуховской заставы к воротам усадьбы вела собственная дорога, ныне известная как Холодильный переулок. К югу от дома располагался большой живописный сад, откуда открывались прекрасные виды на Донской, Даниловский, Симонов монастыри и церковь Воскресения Словущего в Даниловской слободе, построенную на средства Рыбникова. Перед северным фасадом дома находился парадный двор.

В 1870-1880-х годах владение начало переходить от наследников Рыбникова к А.А. Шрадеру. Дом перестраивался в 1880-1890-х годах. В 1899 году через территорию владения прошла линия Павелецкой железной дороги. В начале XX века новая Даниловская набережная отсекла восточное крыло дома, нарушив его классическую симметрию, а в западном крыле была пробита арка для маневровых тепловозов.

Несмотря на поздние перестройки и утрату прежнего окружения (здание теперь окружено индустриальной застройкой и трубами теплосетей), классический дворец с восьмиколонным портиком ионического ордера, фронтоном и высокими окнами до сих пор выглядит внушительно и благородно.

Лаконичная ампирная отделка фасадов дополнена лепным декором более позднего времени. Задний ризалит, возможно, изначально представлял собой открытую колоннаду, но был перестроен с характерным для эклектики поэтажным разделением ордера.

Интерьеры дома не сохранились.