Судьба этого дома была непростой: он неоднократно подвергался пожарам, его несколько раз перестраивали и реконструировали. Первоначально здесь располагалась Банковая контора, затем Променная контора, Коммерческий банк, а позже городская таможня.

В 1964 году здание было передано Музею изобразительных искусств, который с 1994 года стал Государственным музейным объединением «Художественная культура Русского Севера». В течение нескольких лет здесь была представлена экспозиция древнерусского искусства, а позже хранились фонды музея.

С начала 80-х годов особняк долгое время находился на реставрации. К концу 1990-х появилась идея воссоздать атмосферу жилого дома, используя предметы убранства и быта XVIII и начала XX века, которые были в фондах музея. 9 сентября 1998 года, после завершения реставрации, музей открыл постоянную экспозицию «Портрет в старинном интерьере», позволяющую проследить смену художественных стилей в интерьере конца XVIII и начала XX века.

Пять залов особняка, включая портретную, мужской кабинет, голубую гостиную, будуар и столовую, переносят в давно ушедшее время. Мебель, картины, зеркала и фарфор наполняют дом духом прежних эпох, возвращая к некогда неторопливой городской жизни. В музее воссозданы «Мужской кабинет. Конец XVIII, начало XIX века», «Гостиная. 1830-е годы», «Женский будуар. Середина XIX века».

Особняк на Набережной живет насыщенной жизнью. Здесь регулярно проводятся тематические экскурсии, которые вызывают неизменный интерес у местных жителей, российских и зарубежных туристов, организуются выставки. В залах часто звучит камерная музыка, проводятся детские балы, светские рауты, презентации и приемы.