В середине XVII века на этом месте располагались две усадьбы, которые принадлежали представителям рода Пушкиных, двоюродным братьям боярам Григорию Григорьевичу и Борису Григорьевичу Пушкиным. В 1763 году эти владения объединились под управлением Александра Артемьевича Загряжского, чья внучка Наталья стала матерью Натальи Николаевны Гончаровой.

В 1786 году купец Петр Михайлович Гусятников, известный в XVIII веке, приобрел владение у Загряжских. Он был богатым «именитым гражданином», представителем высшего купеческого сословия, и вместе с компаньонами владел винным откупом в Москве, а также суконной и шляпной фабриками в Кожевниках. Именно его компания создала таможенную границу Москвы, Камер-Коллежский Вал. Потомки Гусятникова, включая поэта Апполона Майкова и декабриста Михаила Федоровича Орлова, перешли в дворянство. В старом доме Гусятникова в 1827 и 1828 годах находился известный московский пансион Кистера, где учился будущий историк и профессор Московского университета Тимофей Грановский. В 1860-х годах здесь располагался пансион Р.И. Циммермана.

В 1857 году владение перешло к петербургскому купцу Егору Михайловичу Скворцову, который построил новый каменный дом. Существовали слухи, что он использовал камни от обрушившейся кремлевской стены или Большого Каменного Моста. В 1859 году газета «Московские губернские ведомости» писала, что Скворцов построил большой доходный дом на углу Моховой по проекту архитектора Никольского. Фасад здания был красивым, с магазинами на первом этаже и квартирами на верхних. В доме также находился Коммерческий суд, где служил А.Н. Островский.

В 1899 году Российское общество страхования капиталов и доходов приобрело старую усадьбу на углу Воздвиженки и Моховой и снесло старые постройки, чтобы возвести новое здание по проекту архитектора В.В. Шауба. Дом был построен в стиле немецкого модерна с барочным декором и натуралистическими изображениями. Угловая башенка с куполом подчеркивала пересечение улиц и перекликалась с Троицкой башней Кремля. Первый этаж сдавался под магазины, а в остальных помещалась гостиница «Петергоф».

Часть дома занимали дорогие квартиры. В декабре 1905 года одну из них снимали А.М. Горький и его гражданская жена М.Ф. Андреева, где Серов написал знаменитый портрет писателя. В 1913 и 1919 годах здесь жил известный тенор Леонид Витальевич Собинов.

После 1917 года здесь разместился секретариат Центрального комитета ВКП(б), а затем 4-й Дом Советов, где жили партийные чиновники, такие как А.И. Рыков, Н.А. Семашко и другие. В этом здании находились учреждения ЦИК, а также приемная председателя Президиума Верховного Совета М.И. Калинина.

В настоящее время со стороны Воздвиженки располагается Приемная Государственной Думы, а со стороны Моховой, Бизнес-центр «Деловой дом Моховая».