Nach dem Umzug nach Russland fühlte sich der zukünftige Kaiser Peter III von seiner gewohnten Welt getrennt und strebte danach, einen neuen Raum zu schaffen, in dem er sich wohlfühlen konnte. Er fand Trost in militärischen Vergnügungen und träumte davon, ein bekannter Kaiser und Feldherr zu werden. Mit Erlaubnis seiner königlichen Tante begann Peter den Bau der lustigen Militärfestung Peterstadt. Das Hauptgebäude der Festung wurde sein zweigeschossiger Palast, entworfen vom aufstrebenden Architekten Antonio Rinaldi. Dieser Palast unterscheidet sich von anderen kaiserlichen Residenzen nicht nur durch seine geringe Größe, sondern auch durch seine ungewöhnlichen Grundrisse, was ihn selbst im Vergleich zur späteren Architektur einzigartig macht.

Der Bau des Palastes wurde 1762 abgeschlossen. Das Erdgeschoss war für wirtschaftliche Zwecke vorgesehen, während im Obergeschoss der Thronfolger selbst untergebracht war. Der mit den Romanows verbundene Palast ist ein seltenes architektonisches Denkmal im Rokoko-Stil, der in Russland nicht weit verbreitet war und bald dem Klassizismus Platz machte. Die lustige Festung von Peter Fjodorowitsch blieb eines der wenigen Bauwerke in diesem Stil. Erstaunlicherweise überlebte der Palast den Tod des Eigentümers und wurde trotz des Verfalls nicht zerstört.

Ende des 19. Jahrhunderts wurde der Palast auf Anordnung von Kaiser Alexander III. restauriert, fiel jedoch nach dem Machtantritt der Sowjets in Ungnade und wurde als Zoo genutzt. Während des Zweiten Weltkriegs wurde er zur Lagerung nicht abtransportierter Exponate verwendet, und 1953 wurde ein Museum eröffnet und eine weitere Restaurierung durchgeführt.

Heute fungiert der Palast als Museum, das zahlreiche Exponate aus der Zeit von Peter III. präsentiert. Allerdings sind dies nicht mehr seine persönlichen Gegenstände, sondern später mitgebrachte Möbel. Leider sind das Parkett und viele Elemente der Innendekoration nicht erhalten geblieben und wurden ersetzt. Dennoch kann man angesichts der schwierigen Geschichte des Palastes dessen Existenz als positiven Fakt betrachten.