В 1816 году губернский секретарь И. И. Передков приобрел один из восьми участков владения и в 1819 году построил деревянный одноэтажный дом вдоль красной линии переулка. Дом, спроектированный архитектором Ф. К. Соколовым, представлял собой ампирный особняк на белокаменном цоколе с четырехколонным портиком и фронтоном. Слева к дворовому фасаду примыкала деревянная пристройка прямоугольной формы.

В конце 1860-х годов дом приобрел декабрист Петр Николаевич Свистунов, вернувшийся в Москву из ссылки в 1863 году. Современники описывали его как талантливого публициста и умного человека с веселым характером. В доме Свистунова бывал Л. Н. Толстой, который работал над романом о декабристах. Сохранилась их переписка. Свистунов много читал и играл на виолончели, аккомпанировала ему дочь Кити или Мадлен. Иногда приходили друзья-музыканты, и устраивались музыкальные вечера. Старшая дочь Свистунова, Мария Петровна, была пианисткой и училась у Ференца Листа. Свистунов прожил в этом доме до конца своих дней.

В 1873 году Свистунов обратился в городскую управу с просьбой о капитальном ремонте дома, включая замену рам и полов, а также снятие фронтона и деревянной обивки для последующего оштукатуривания. Работы проводились по проекту архитектора М. Кривошеева. Дом был увеличен за счет пристройки, а фасад получил новый облик с ампирным декором. Интерьеры дома сохранили традиционный стиль первой трети XIX века с просторным холлом и анфиладой парадных комнат.

В конце XIX века дом купил врач Н. А. Берензон, который переустроил старую усадьбу Баташевых в Яузскую больницу. Берензон, обладая большим опытом и эрудицией, пользовался уважением среди коллег и пробуждал в молодых врачах интерес к науке. Он владел домом до 1917 года, сдавая часть помещений в аренду.

С 1912 года дом арендовал архитектор А. В. Щусев, переехавший в Москву после победы в конкурсе на проект Казанского вокзала. Щусев прожил здесь до 1946 года, и дом стал местом встреч творческой элиты. Здесь бывали Корин, Нестеров, Рерих, а в 1941 году Нестеров написал портрет Щусева, который сейчас хранится в Третьяковской галерее.

В 1970 году деревянная пристройка была заменена на каменную. Она сохранялась до 2008 года, когда на ее месте был построен офисный центр с подземной парковкой. В это время в доме провели реставрацию, приспособив его под офисные нужды.