Старинная усадьба, давшая название улице, имеет богатую историю. Во второй половине XVII века в глубине двора были возведены палаты князей Волконских. В XVIII веке за ними появился переулок, уровень которого был выше, чем у улицы, поэтому первый этаж фасада палат оказался под землей. Подклет был построен из белого камня, а основной этаж, из орленого кирпича.

В середине XVIII века в палатах находился питейный дом «Волхонка», но в 1788 году здание снова стало жилым. На линии Волхонки был построен еще один дом, соединенный с палатами торцевым корпусом, с классическим фасадом и фронтоном над тремя окнами с полукруглыми сандриками. На рубеже XVIII-XIX веков усадьба принадлежала московскому вице-губернатору Ефиму Ефимовичу Ринкевичу. В 1802 году здесь родился его сын Александр, декабрист и член Северного общества. Во время пожара 1812 года владение сильно пострадало, но Ринкевич получил государственную помощь в виде кирпичей для восстановления усадьбы.

В середине XIX века усадьба перешла к купцу первой гильдии Христофору Дмитриевичу Спиридонову. В начале 1890-х годов дом арендовало Общество искусства и литературы, основанное в Москве в 1888 году К.С. Станиславским и его коллегами.

В начале XX века владельцем дома стала Оленина Ольга Алексеевна, а в 1910-е годы усадьбу приобрели владельцы соседнего дома на Волхонке, д. 10, «Торговый дом Г. Волков с сыновьями». Гаврила Волков, основатель известного банкирского дома, был крепостным помещиков Голохвастовых, но благодаря князю Н.Б. Юсупову получил вольную. По легенде, он пешком пришел в Москву и, разбогатев, купил два дома на Волхонке. Один из его сыновей, Петр Гаврилович Волков, работал комиссионером и оценщиком при Московской оружейной палате. В доме находились писчебумажный магазин, книжная лавка и женское училище.

С 1927 по 1932 год в здании размещался президиум Ассоциации художников революционной России (АХРР), в которую входили такие выдающиеся художники, как И. Бродский и А. Архипов.

В 1934 году дом планировали снести для прокладки тоннеля первой ветки метро, но из-за сложности быстрого выселения жильцов его сохранили. Теперь фундаментом дома служит перекрытие тоннеля метрополитена.

В 2013-14 годах здание было реконструировано, и там открылась вторая очередь зданий Музея личных коллекций, входящего в состав Государственного музея изобразительных искусств им. А.С. Пушкина.