Двухэтажный особняк с небольшим фигурным фронтоном на Кожевнической улице был возведен в «русском стиле» архитектором Красновым для Егора Степановича Скворцова. Год постройки, 1853, указан в орнаменте на фрагменте ограды справа от дома. Егор Скворцов унаследовал кожевенное дело от своего отца, Степана Юлиановича Скворцова, крестьянина из деревни Шевлино. У семьи было крупное кожевенное производство, собственный завод и торговля в Москве. В 1829 году Михаил Яковлевич Рябушинский заключил выгодный брак с дочерью Степана Юлиановича, Евфимией.

Дом оставался в семье Скворцовых до 1917 года, сохраняя свой «русский» декор. Окна второго этажа украшены высокими треугольными фронтонами, а наличники выполнены в виде лепнины, имитирующей деревянную резьбу. Центр фасада, состоящий из пяти окон, ограничен лопатками, а углы оформлены небольшими полуколонками. Со стороны двора до недавнего времени сохранялся изящный кованый навес над главным входом в особняк.