Палаты были возведены в 1670-е годы по заказу псковского купца Сергея Поганкина, одного из самых состоятельных людей своего времени. Несмотря на это, внешне они выглядят довольно скромно и лишены украшений, хотя их размеры впечатляют даже в XXI веке.

Комплекс палат купца Поганкина имеет Г-образную форму и включает три здания разной высоты. Для строительства использовались известняковые плиты, скрепленные известковым раствором. Стены зданий оштукатурены и побелены, без каких-либо декоративных элементов.

Западная часть, где жил сам Поганкин, была трехэтажной. Южная часть, предназначенная для членов его семьи, имела два этажа. В одноэтажной восточной части находились кухни. Над каменным корпусом по всей длине здания располагалась деревянная надстройка. Палаты окружали замкнутый двор, который в XVII веке находился в пределах Окольного города на Полонище. В комплекс также входили каменный флигель, парадные ворота и различные деревянные хозяйственные постройки.

Каменная часть палат сохранилась до наших дней почти в своем первоначальном виде. Утрачены лишь два крыльца, выходившие во двор, и верхние пролеты лестниц, которые соединяли каменные здания с деревянными хоромами.