С южной стороны Успенского собора расположено Архиерейское подворье, одно из старейших зданий Астраханского кремля. Первоначально здесь были деревянные палаты, построенные в 1617 году, которые в 1680-х годах заменили на каменные. Архиерейский дом включал домовую церковь, жилые комнаты и архиерейские палаты, имеющие форму прямоугольника, вытянутого с востока на запад. На фасаде здания можно увидеть изразцы с изображениями сцен из "Александрии": Александр Македонский на коне с саблей, лев, охраняющий дворец, и крылатое чудовище. В 1709 году над палатами возвели второй этаж с Крестовой домовой церковью во имя Нерукотворного Спаса.

В 1778 году здание сильно пострадало от пожара, и в 1799 году его надстроили третьим этажом. В XIX веке оно стало четырехэтажным, и позднее его неоднократно перестраивали для размещения различных учреждений. Эти изменения лишили комплекс его архитектурной выразительности, и он слился с двухэтажной надстройкой, которая исказила его облик.

Исследования показали, что можно вернуть Архиерейским палатам и домовой церкви их первоначальный вид. Для этого необходимо разобрать надстройку, восстановить утраченные детали и элементы древних зданий, включая стесанные наличники и заштукатуренные изразцы XVI века.

В 2014-2018 годах была проведена масштабная реконструкция здания. Она включала переделку кирпичной кладки всех этажей, дверных и оконных откосов, реставрацию межэтажных и чердачных перекрытий, кровли, окон и фасадов, а также воссоздание металлического креста. Были выполнены работы по восстановлению стен, перекрытий, реставрации лестниц, устранению трещин в стенах, отделке потолков и стен, реставрации интерьеров и козырька, а также восстановлению кладки фундаментов и цоколя с заменой отдельных камней и участков.