Drei Gebäude des Mietshauses von Wasilij Panjushev lagen auf zwei Grundstücken zwischen dem Arbat und dem Siwtsew Wraschok, die historisch einem Eigentümer gehörten. In der Mitte des 19. Jahrhunderts gehörten diese Besitztümer dem wirklichen Staatsrat N.M. Wasiltschikow, der alle Gebäude und zwei Gärten verkaufte, von denen einer zum Arbat und der andere zum Siwtsew Wraschok führte, an die Frau des Unterleutnants Sofja Jewlampiewna Suchodolska. Schließlich ging das Grundstück an den Kaufmann W. Panjushev über.

Im Jahr 1912 wurden hier drei Gebäude von Mietskasernen nach dem Entwurf des Architekten Wasilij Kazakov errichtet, die im Volk als „Ameisenhaufen“ bezeichnet wurden. Dieser Spitzname bezog sich mehr auf die Innenhöfe des Hauses 51 (Gebäude 2 und 3), die vom Arbat aus nicht sichtbar waren. A. Rybakov schrieb in seinem „Roman der Erinnerungen“: „Die Gebäude stehen eng hintereinander, niedrige bogenförmige Durchgänge verbinden zwei tiefe dunkle Höfe, die von den Quadraten des grauen Moskauer Himmels bedeckt sind.“

Nach der Revolution erlebte das Haus Veränderungen: Nach 1917 wurden die geräumigen, sonnigen Wohnungen des ersten Gebäudes mit Arbeitern und Soldaten belegt, die die früheren Eigentümer verdrängten. Die prächtigen Wohnungen verwandelten sich in kommunale. Das Haus wurde endgültig zu einem „Ameisenhaufen“.

Das dritte Gebäude lag am Siwtsew Wraschok und befand sich in der Tiefe eines Parks, der von den früheren Eigentümern erhalten geblieben war. A. Rybakov, der im zweiten Gebäude in Wohnung 87 lebte, schrieb, dass in den Innenhöfen die gleichen „kleinen, engen und dunklen Wohnungen“ waren. Sie wurden nicht einmal verdichtet, da es keinen Platz gab.

Das Gebäude blieb immer bewohnt.