Появление этого здания выявило значительные противоречия в архитектуре того времени и вызвало ожесточенные споры среди архитекторов. С 1932 года классическое направление в архитектуре становилось все более заметным. Проект Жолтовского противопоставил классику авангардной архитектуре. Дом на Моховой расколол архитектурное сообщество. По воспоминаниям А. Щусева, Жолтовский говорил: "Я выступаю с классикой на Моховой, и если я провалюсь, то провалю принципы классики". В ходе дискуссий дом был назван "гвоздем в гроб конструктивизма", но даже противники признавали мастерство Жолтовского. Построенный дом стал важным аргументом в творческой дискуссии, чем многие теоретические обоснования, и положил начало новому этапу в советской архитектуре.

Жолтовский, знаток архитектуры эпохи Возрождения и сторонник идей А. Палладио, при проектировании дома опирался на Лоджию дель Капитаньо в Виченце. Композиция фасада выполнена в крупном композитном ордере, расположенном в ризалите здания. Фасад отодвинут от красной линии, заглубляя цокольную часть. Основой конструкции является семиэтажный железобетонный каркас с ритмично расположенными широкими оконными проемами. Жолтовский решил сложную задачу сочетания равномерной сетки семиэтажного дома с членениями прототипа, опустив подоконники почти до пола и тонируя остекление в местах, где видны перекрытия.

Выступающий карниз служит основанием для балкона седьмого этажа, переходящего на боковые крылья фасада. Дом облицован искусственным камнем желтого тона. Детали были продуманы великолепно, но не все удалось воплотить. Завершенность зданию должны были придать барельефы и скульптуры (В. Мухиной, И. Шадра и др.).

Дом включал разнообразные квартиры: от одно- до пятикомнатных. На верхних этажах располагались двухуровневые квартиры, в каждой из которых была комната для прислуги. Жолтовский тщательно продумал интерьеры, включая дверные ручки и оконные шпингалеты. Основные элементы оформления, карнизы, наличники и двери, разительно отличались от обычных образцов, так как были выполнены вручную. Высокое качество строительных и отделочных работ обеспечивалось личным присутствием Ивана Владиславовича на всех этапах строительства.

Здание строилось для нужд Моссовета, и квартиры уже распределялись, но в 1933 году, после установления дипотношений с США, дом передали американскому посольству. С конца 50-х годов его занимало агентство "Интурист".