Eines der einzigartigen architektonischen Denkmäler von Wyborg ist das zweigeschossige Haus im Rokoko-Stil, das Ende des 19. Jahrhunderts erbaut wurde. Dieses einzige Gebäude der Stadt, das in diesem architektonischen Stil ausgeführt ist, wurde 1883 auf Bestellung von Fjodor Iwanowitsch Sergejew, einem bedeutenden lokalen Unternehmer und Staatsmann, errichtet. Sergejew, ein Nachkomme von Leibeigenen, erreichte ein solches Maß an Erfolg, dass er im Reichtum mit den ehemaligen Herren, den Grafen Sheremetew, konkurrieren konnte.

Das Projekt für das Haus von Sergejew wurde von dem bekannten finnischen Architekten schwedischer Herkunft, dem russischen Staatsbürger Fredrik August Odenwald, entworfen. Dieser Gouvernementsarchitekt hinterließ einen bedeutenden Fußabdruck in der Architektur der Region, aber leider wurde das Projekt des Hauses eines der letzten in seiner Karriere. Kurz nach Abschluss des Baus gab er aufgrund von Krankheit seinen Beruf auf.

Sergejew scheute keine Ausgaben für den Bau seines Hauses, und in der Folge wurde es zu einem der auffälligsten und einprägsamsten Gebäude in Wyborg. Die Einheimischen nannten es „Rokoko-Palast“ wegen der ungewöhnlichen Gestaltung der Fassade. Das Innere des Hauses war ebenso beeindruckend wie sein äußeres Erscheinungsbild. Sergejew liebte sein Haus sehr und versuchte, so viel Zeit wie möglich dort zu verbringen. Er hatte das Glück, dass die sowjetische Macht Wyborg nicht berührte, und er behielt sein Eigentum.

Nach dem Tod von Sergejew im Jahr 1924 wurde das Haus von verschiedenen Institutionen genutzt, und in der sowjetischen Zeit war es Standort eines Radiozentrums. In den 1960er Jahren sollte das Herrenhaus fast abgerissen werden, um das lokale Hotel zu erweitern, aber Aktivisten konnten es retten. Heute erfreut das Haus weiterhin die Passanten und bleibt ein wichtiger Teil der historischen Bebauung der Stadt.