Три корпуса доходного дома Василия Панюшева располагались на двух участках между Арбатом и Сивцевым Вражком, которые исторически принадлежали одному владельцу. В середине XIX века эти владения принадлежали действительному статскому советнику Н.М. Васильчикову, который продал все строения и два сада, выходившие один на Арбат, другой на Сивцев Вражек, жене подпоручика Софье Евлампиевне Суходольской. В итоге участок перешел купцу В. Панюшеву.

В 1912 году здесь были построены три корпуса доходных домов по проекту архитектора Василия Казакова, которые в народе прозвали «муравейником». Это прозвище больше относилось к дворовым корпусам дома 51 (строения 2 и 3), которые не были видны с Арбата. А. Рыбаков в «Романе-воспоминании» писал: «корпуса тесно стоят один за другим, низкие арочные проезды соединяют два глубоких темных двора, прикрытых квадратами серого московского неба».

После революции дом пережил изменения: после 1917 года в просторные солнечные квартиры первого корпуса вселили рабочих и военных, вытеснив прежних владельцев. Шикарные квартиры превратились в коммунальные. Дом окончательно стал «муравейником».

Третий корпус выходил на Сивцев Вражек и располагался в глубине сквера, сохранившегося от прежних владельцев. А. Рыбаков, живший во втором корпусе в квартире 87, писал, что в дворовых корпусах были одинаковые «небольшие квартиры, тесные и темные». Их даже не уплотняли, так как было некуда.

Корпус всегда оставался жилым.