Besonders aktive Bauarbeiten auf dem Gebiet des heutigen Kremls, einschließlich des Erzbischofshauses und der Sophienkathedrale, fanden in den 1760er und 1770er Jahren unter dem wologdischen Bischof Joseph II., bekannt als der Goldene, statt. Wie viele Kirchenvertreter des 18. Jahrhunderts war Joseph von Architektur begeistert. Das Hauptresultat dieser Arbeiten war die Schaffung seiner persönlichen Appartements, luxuriöser dreigeschossiger Steinkammern. Der Josephsflügel, der an die südliche Seite des Gabrielshauses angrenzt, wurde zwischen 1764 und 1769 erbaut, was durch die feierliche lateinische Inschrift am Fries der Hauptfassade, die zum Innenhof zeigt, bestätigt wird. Die Paläste von Joseph dem Goldenen hoben sich unter den anderen Gebäuden des Erzbischofshauses nicht nur durch ihre Pracht hervor, sondern auch durch einen für Wologda neuen Stil, der eindeutig den Einfluss der westeuropäischen Architektur demonstrierte. Die festlichen Fassaden dieses Palastgebäudes spiegelten drei Varianten des Barock wider: das Petersburger, sowie das frühere Moskauer und ukrainische. Daher zeichnete sich das Bauwerk durch Luxus und Eleganz aus und war architektonisch nicht nur für Wologda außergewöhnlich.

In den 1790er Jahren wurde an der Westseite der Hauptfassade des Gebäudes eine Treppe mit paarweisen Halbsäulen an den Seiten des Eingangs und einer originellen figürlichen Kuppel hinzugefügt.

Das Innere des Josephsflügels ist fast nicht mehr in seinem ursprünglichen Zustand erhalten; in einigen Räumen sind nur noch die Stuckverzierungen der Decken und interessante Kachelöfen geblieben.