После переезда в Россию будущий император Петр III чувствовал себя оторванным от привычного мира и стремился создать новое пространство, где ему было бы комфортно. Он находил утешение в военных развлечениях и мечтал стать известным императором-полководцем. С разрешения своей царственной тетки Петр начал строительство потешной военной крепости Петерштадт. Главной постройкой крепости стал его двухэтажный дворец, спроектированный начинающим архитектором Антонио Ринальди. Этот дворец отличается от других императорских резиденций не только небольшими размерами, но и необычными формами планировки, что делает его уникальным даже в сравнении с более поздней архитектурой.

Строительство дворца завершилось в 1762 году. Первый этаж был предназначен для хозяйственных нужд, а на втором этаже разместился сам наследник престола. Дворец, связанный с Романовыми, является редким памятником архитектуры в стиле рококо, который в России не получил широкого распространения и вскоре уступил место классицизму. Потешная крепость Петра Федоровича осталась одной из немногих построек в этом стиле. Удивительно, что дворец уцелел после смерти владельца и, несмотря на обветшание, не был разрушен.

В конце XIX века по распоряжению императора Александра III дворец был отреставрирован, но после прихода советской власти оказался ненужным и был передан под зоопарк. Во время Второй мировой войны его использовали для хранения не вывезенных экспонатов, а в 1953 году открыли в нем музей и вновь провели реставрацию.

Сегодня дворец функционирует как музей, в котором представлены многочисленные экспонаты времен Петра III. Однако это уже не его личные вещи, а привезенная позже мебель. К сожалению, паркет и многие элементы внутреннего декора не сохранились и были заменены. Тем не менее, учитывая сложную судьбу дворца, его существование можно считать положительным фактом.