Первым документально подтверждённым владельцем здания в начале XIX века был купец Пётр Гиряков, который числился хозяином участка в 1804 году. Позднее, в 1828 году, дом арендовал Михаил Семёнович Щепкин, известный артист Малого театра. Однако он вскоре переехал в район Сретенки. Уже в 1829 году здание перешло в собственность «купеческой жены А.С. Ребушинской», и эта фамилия, позже изменённая на «Рябушинские», долгое время оставалась владельцем дома.

Фасад здания украшен высоким портиком с четырьмя пилястрами, установленными на аркаде нижнего этажа, где сохранились своды. Внешний вид дома довольно скромен для своего времени: отсутствуют лепнина, барельефы и росписи, это простой купеческий особняк, расположенный вдали от крупных улиц. Однако слава новых владельцев быстро распространилась по всей Империи.

Род Рябушинских берёт начало от крестьянина Калужской губернии, из слободы Ребушинской, Михаила Яковлева, который прибыл в Москву в 1802 году и торговал в Холщовом ряду Гостиного двора. Разорившись из-за Отечественной войны 1812 года, он вынужден был перейти в мещанство, но не пал духом. В 1820 году Михаил Яковлевич принял старообрядчество, к которому принадлежали многие богатые купцы того времени. Поддержка единоверцев помогла ему вернуться в купеческое сословие и возобновить торговлю. Тогда же он взял фамилию «Ребушинский», которая позже изменилась на «Рябушинский». Со временем Михаил Яковлевич основал несколько ткацких мануфактур в Москве и Калужской губернии и оставил наследникам более 2 миллионов рублей. Этот капитал стал основой процветания династии: его сын Павел Михайлович увеличил семейное состояние в десять раз, оставив своим сыновьям 20 миллионов рублей.

Рябушинские сдавали усадьбу в Голутвине, но сохраняли её в собственности до революции. В 1840-х годах арендаторами были соседи Рябушинских, династия Третьяковых, чей дом, где родились братья Павел и Михаил, сохранился в соседнем переулке возле церкви святого Николая Чудотворца в Голутвине. В конце XIX века усадьба Рябушинских была переоборудована под богадельню и столовую, находившиеся под управлением Императорского Человеколюбивого общества. Для этого здание расширили, добавив пристройку со стороны двора и службы. За усадьбой возвышаются корпуса Голутвинской мануфактуры, основанной Михаилом Яковлевичем Рябушинским и позже проданной купцам Григорию и Алексею Истоминым.

После революции усадьба была национализирована, некоторое время в ней размещались квартиры, затем конторы. Сегодня дом стоит закрытым и не используется. Между тем, он мог бы стать идеальной площадкой для местного музея, где нашлось бы место и Щепкину, и Рябушинским, и Третьяковым, и Истоминым.