Первое архивное изображение дома № 3/5 на Спиридоновке датируется 1764 годом, но археологические исследования 1970-х годов показали, что еще в конце XVII века здесь были построены каменные палаты. Предполагается, что на этом месте находились мастерские по производству разрывных артиллерийских снарядов, которые подчинялись Пушкарскому приказу (с 1701 года, Артиллерийскому приказу). Здесь же располагался склад боеприпасов, что объясняет название "Гранатный двор". Память об этих мастерских сохранилась в названии Гранатного переулка, примыкающего к Спиридоновке рядом с палатами.

Существуют сведения, что двор планировали перенести подальше от города, но по каким-то причинам этого не сделали. В 1712 году в Москве произошел крупный пожар, который сильно повредил Гранатный двор. Пороховые склады взорвались, и здание почти превратилось в руины. Однако часть стен сохранилась и была использована при строительстве нового здания.

Есть и другая версия, согласно которой палаты имели административное назначение и служили жильем для чиновников военного ведомства на территории "Гранатного двора", который, вероятно, располагался ниже по переулку.

В любом случае, здание нуждалось в перестройке, и новое строение почти не напоминало прежние палаты. О них напоминали лишь кирпичные своды на нижнем этаже, местами сохранившиеся оконные проемы и фрагменты декора. По архивным данным, в середине XVIII века дом принадлежал князю М.С. Долгорукому, позже здесь жили купцы, а затем здание стало домом причта церкви "Большое Вознесение".

В 1930-е годы здание неоднократно переделывали, в основном для устройства коммунального жилья. В 1973 году, в ходе предварительных реставрационных работ, были обнаружены свидетельства, позволившие определить датировку здания. Было решено вернуть палатам первоначальный облик конца XVII, начала XVIII веков. Реставрация проводилась в 1970-х и 1990-х годах.

Реставраторы воссоздали планировку здания того времени, сводчатые перекрытия этажей и высокую вальмовую кровлю. Со стороны восточного фасада восстановили каменное крыльцо с шатровой кровлей, а вдоль западного фасада, двухэтажную галерею с аркадой на первом этаже.

Фасады палат украшает сдержанный белокаменный декор, что подтверждает их производственное назначение: здание опоясывает трехчастный карниз, оконные и дверные проемы обрамлены широкими профилированными наличниками, а вертикальный ритм поддерживают плоские лопатки.

Культурный слой палат XVI-XVII веков является памятником археологического наследия федерального значения и охраняется государством.