Особенно активное строительство на территории нынешнего кремля, включая Архиерейский дом и Софийский собор, велось в 1760-1770-х годах при вологодском епископе Иосифе II, известном как Золотой. Как и многие церковные деятели XVIII века, Иосиф увлекался архитектурой. Главным итогом этих работ стало создание его личных апартаментов, роскошных трехэтажных каменных покоев. Иосифовский корпус, примыкающий к южной стороне Гаврииловского корпуса, был возведен между 1764 и 1769 годами, что подтверждает торжественная латинская надпись на фризе главного фасада, обращенного во двор. Палаты Иосифа Золотого выделялись среди других построек Архиерейского дома не только своей нарядностью, но и новым для Вологды стилем, который явно демонстрировал влияние западноевропейской архитектуры. Праздничные фасады этого дворцового здания отразили три разновидности барокко: петербургское, а также более ранние московское и украинское. Поэтому постройка отличалась роскошью и изяществом, будучи исключительной по архитектуре не только для Вологды.

В середине 1790-х годов к западной стороне главного фасада здания была добавлена лестничная клетка с парными полуколоннами по бокам входа и оригинальной фигурной крышей-куполом.

Интерьер Иосифовского корпуса почти не сохранился в своем первоначальном виде; в некоторых помещениях осталась лишь лепная отделка потолков и интересные кафельные печи.