Después de mudarse a Rusia, el futuro emperador Pedro III se sintió desconectado de su mundo habitual y buscó crear un nuevo espacio donde se sintiera cómodo. Encontraba consuelo en diversiones militares y soñaba con convertirse en un famoso emperador-conquistador. Con el permiso de su tía real, Pedro comenzó la construcción de la fortaleza militar de diversiones Peteshtadt. La construcción principal de la fortaleza fue su palacio de dos pisos, diseñado por el arquitecto principiante Antonio Rinaldi. Este palacio se diferencia de otras residencias imperiales no solo por su tamaño reducido, sino también por sus inusuales formas de planificación, lo que lo hace único incluso en comparación con la arquitectura posterior.

La construcción del palacio se completó en 1762. La planta baja estaba destinada a necesidades domésticas, mientras que en el segundo piso se alojaba el propio heredero al trono. El palacio, vinculado a los Romanov, es un raro monumento arquitectónico en estilo rococó, que no tuvo una amplia difusión en Rusia y pronto dio paso al clasicismo. La fortaleza de diversiones de Pedro Fedorovich se mantuvo como una de las pocas construcciones en este estilo. Es sorprendente que el palacio sobreviviera tras la muerte de su propietario y, a pesar del deterioro, no fuera destruido.

A finales del siglo XIX, por orden del emperador Alejandro III, el palacio fue restaurado, pero tras la llegada del poder soviético se volvió innecesario y fue destinado a un zoológico. Durante la Segunda Guerra Mundial, se utilizó para almacenar exposiciones no evacuadas, y en 1953 se abrió un museo en él y se llevó a cabo otra restauración.

Hoy en día, el palacio funciona como un museo, que presenta numerosos objetos de la época de Pedro III. Sin embargo, ya no son sus pertenencias personales, sino muebles traídos más tarde. Desafortunadamente, el parquet y muchos elementos de la decoración interior no se han conservado y han sido reemplazados. Sin embargo, considerando la complicada historia del palacio, su existencia puede considerarse un hecho positivo.