Усадьба на пересечении Глазовского и Денежного переулков была возведена в 1905 году по проекту архитектора С.С. Кучинского для состоятельных фабрикантов Петра Александровича и Николая Петровича Павловых, владельцев «Товарищества мануфактур, основанных И.И. Скворцовым». Этот двухэтажный особняк, украшенный изящным куполом и облицованный двухцветной керамической плиткой, является ярким примером архитектуры в стиле модерн. Его облик дополняет эркер с оригинальным остеклением из клепаных металлических конструкций.

«Товарищество мануфактур, основанных И.И. Скворцовым», владельцами которого были Павловы, было создано в 1897 году, но история мануфактур Скворцовых-Павловых начинается еще в первой трети XIX века. Иван Никитич Скворцов первым занялся ручной выработкой тканей, а его сын, Иван Иванович, основал в селе Середа Костромской губернии первую механическую ткацкую фабрику для производства миткаля, суровой хлопчатобумажной ткани, использовавшейся для ситца и муслина. Позже он приобрел еще одну фабрику в соседнем селе Писцово.

После смерти И.И. Скворцова дело перешло к его дочери Матрене Ивановне и ее мужу Петру Александровичу Павлову. Матрена Ивановна модернизировала фабрики и расширила производство, продолжая заниматься благотворительностью. В дополнение к больнице и храму, построенным ее отцом, она финансировала строительство училища при фабрике и еще одного храма. Последним владельцем фабрик был Николай Петрович Павлов, действительный статский советник и директор-распорядитель Товарищества. При нем производство расширилось и перед революцией стало одним из ведущих ткацких предприятий в средней России.

В начале ХХ века Павловы предпочли жить в Москве, где для них и был построен особняк в Глазовском переулке. После 1917 года он был национализирован и использовался в административных целях. С 1963 года здесь располагается Информационный центр Организации Объединенных Наций (ООН) в Москве.

Усадьба является объектом культурного наследия.