Après son déménagement en Russie, le futur empereur Pierre III se sentait coupé de son monde habituel et cherchait à créer un nouvel espace où il se sentirait à l'aise. Il trouvait du réconfort dans les divertissements militaires et rêvait de devenir un empereur-général célèbre. Avec la permission de sa tante royale, Pierre commença la construction de la forteresse militaire ludique de Peterstadt. La principale construction de la forteresse était son palais à deux étages, conçu par l'architecte débutant Antonio Rinaldi. Ce palais se distingue des autres résidences impériales non seulement par sa petite taille, mais aussi par ses formes de planification inhabituelles, ce qui le rend unique même par rapport à l'architecture ultérieure.

La construction du palais fut achevée en 1762. Le premier étage était destiné aux besoins domestiques, tandis que le deuxième étage abritait l'héritier du trône lui-même. Le palais, lié aux Romanov, est un rare monument d'architecture de style rococo, qui n'a pas eu une large diffusion en Russie et a rapidement cédé la place au classicisme. La forteresse ludique de Pierre Fiodorovitch reste l'une des rares constructions dans ce style. Il est surprenant que le palais ait survécu après la mort de son propriétaire et, malgré son usure, n'ait pas été détruit.

À la fin du XIXe siècle, sur ordre de l'empereur Alexandre III, le palais fut restauré, mais après l'arrivée du pouvoir soviétique, il devint inutile et fut transformé en zoo. Pendant la Seconde Guerre mondiale, il fut utilisé pour stocker des expositions non évacuées, et en 1953, un musée y fut ouvert et une nouvelle restauration fut effectuée.

Aujourd'hui, le palais fonctionne comme un musée, présentant de nombreux objets de l'époque de Pierre III. Cependant, ce ne sont plus ses affaires personnelles, mais des meubles apportés plus tard. Malheureusement, le parquet et de nombreux éléments de décoration intérieure ne se sont pas conservés et ont été remplacés. Néanmoins, compte tenu du destin complexe du palais, son existence peut être considérée comme un fait positif.