Die Paläste wurden in den 1670er Jahren auf Bestellung des pskower Kaufmanns Sergej Pogankin, eines der wohlhabendsten Menschen seiner Zeit, errichtet. Trotz dessen wirken sie äußerlich recht bescheiden und sind schmucklos, obwohl ihre Größe selbst im 21. Jahrhundert beeindruckt.

Der Komplex der Pogankin-Paläste hat eine L-Form und umfasst drei Gebäude unterschiedlicher Höhe. Für den Bau wurden Kalksteinplatten verwendet, die mit Kalkmörtel verbunden sind. Die Wände der Gebäude sind verputzt und weiß gestrichen, ohne dekorative Elemente.

Der westliche Teil, in dem Pogankin selbst lebte, war dreigeschossig. Der südliche Teil, der für seine Familienmitglieder vorgesehen war, hatte zwei Etagen. Im einstöckigen östlichen Teil befanden sich die Küchen. Über dem steinernen Bau erstreckte sich über die gesamte Länge des Gebäudes ein hölzerner Aufsatz. Die Paläste umschlossen einen geschlossenen Innenhof, der im 17. Jahrhundert innerhalb der Okolnaja-Stadt auf Polonische lag. Zum Komplex gehörten auch ein steinernes Nebengebäude, das Haupttor und verschiedene hölzerne Wirtschaftsgebäude.

Der steinerne Teil der Paläste hat sich bis heute fast in seinem ursprünglichen Zustand erhalten. Nur zwei Treppenhäuser, die zum Innenhof führten, und die oberen Treppenläufe, die die steinernen Gebäude mit den hölzernen Wohnräumen verbanden, sind verloren gegangen.