Der Palast von Peter dem Großen befand sich an der Kreuzung der Straßen Rüütli und Pimeä, gegenüber dem Bastion "Paks" und dem Küstentor. Im Jahr 1944 wurde das Gebäude zerstört, und bis heute sind nur seine Keller erhalten geblieben.

Der Palast war ein zweigeschossiges Steinhaus im Barockstil. An der Ostseite des Gebäudes schloss sich ein Erker mit massivem Sockel an, und an der Südseite befand sich eine Holzgalerie mit geschnitztem Gitter, die von toskanischen Säulen gestützt wurde. Aus dem südöstlichen Raum im zweiten Stock konnte man über eine Holzbrücke auf den Wall der Bastion "Paks" gelangen. In der Mitte des 19. Jahrhunderts wurde der Wall abgetragen, und die Brücke wurde 1876 abgerissen (nach anderen Angaben 1864).

Der Haupteingang mit einer hohen Treppe befand sich an der Nordseite des Gebäudes, zur Straße Rüütli hin. Die Treppe war mit vier toskanischen Säulen und Voluten mit einer Holzfigur des Mars geschmückt. Die Wände des Gebäudes waren mit rötlichem Putz bedeckt, das Dach war mit Ziegeln gedeckt und hatte einen geschmiedeten Wetterhahn.

Im ersten Stock befanden sich sechs Zimmer. Vom Vestibül führte eine Holztreppe in den zweiten Stock, wo sich die Apartments von Peter I. befanden. Im zweiten Stock gab es neun Zimmer, darunter einen Saal. Die Böden waren mit Eichenparkett ausgelegt, und die Decken waren mit Plafonds mit allegorischen Darstellungen geschmückt. Es wird vermutet, dass die Deckenmalereien 1708 von den Künstlern I. Odolsky, A. Zakharov, D. Solovyev und D. Buralevsky angefertigt wurden.

Das Gebäude wurde 1676 nach einem Entwurf von Zacharias Hofmann dem Jüngeren für den Schuhmacher Jakob Niman erbaut. Im Jahr 1697 verkaufte er es an Johann Lude, einen Tischler oder Silberschmied. In den Jahren 1704-1705 verbanden die Architekten I.M. Ugryumov und D. Trezzini dieses Gebäude mit dem benachbarten Haus von Georg Hecht und schufen die "Staatlichen Kammern".

Nach einigen Angaben fanden im Jahr 1705 Renovierungsarbeiten im Haus statt, und 1708 wurde es zur Residenz von Peter I. umgebaut.

In der ersten Hälfte des 19. Jahrhunderts stand das Gebäude unter der Verwaltung des Kriegsministeriums, hier waren das Kommandanturbüro und sein Archiv untergebracht (nach anderen Angaben das Stadtarchiv). Im Jahr 1867 gab es im ersten Stock eine deutsche Kirchenschule für Jungen. Im Jahr 1866 wurde das Haus der Narvaer Gesellschaft der Bürger der Großen Gilde übergeben, und darin wurde ein historisch-memorales Museum eröffnet, das auf den Sammlungen der Narvaer Archäologischen Gesellschaft und des Palastes von Peter I. basierte. Im Museum arbeiteten eine Bibliothek und ein Archiv. Nach der Auflösung der Gesellschaft im Jahr 1932 ging der Palast in den Besitz der Stadt Narva über. Im Jahr 1933 wurde das Museum mit dem Narvaer Stadtmuseum benannt nach S. und G. Lavretzov vereinigt. Ein Teil der Sammlung, die 1941 nach Leningrad evakuiert wurde, wurde 1956 zurückgegeben. Der Rest der Sammlung wurde 1945 zwischen den Museen in Tallinn, Rakvere und Paide verteilt, kehrte aber ab 1949 schrittweise ins Narvaer Museum zurück.

Bei dem Rückzug der deutschen Truppen im Jahr 1944 wurde der Palast geplündert und zerstört. Seine Wände standen bis Ende der 1960er Jahre, während die projektbezogene Restaurierungsdokumentation vorbereitet wurde, und wurden dann abgerissen. Nur die Keller sind erhalten geblieben.