Дворец Петра Великого располагался на пересечении улиц Рюютли и Пимеая, напротив бастиона «Пакс» и Береговых ворот. В 1944 году здание было разрушено, и до наших дней сохранились лишь его подвалы.

Дворец представлял собой каменный двухэтажный дом в стиле барокко. К восточной стороне здания примыкал эркер с массивным цоколем, а с южной стороны к нему прилегала деревянная галерея с резной решеткой, поддерживаемая колоннами тосканского ордера. Из юго-восточной комнаты второго этажа можно было по деревянному мостику попасть на вал бастиона «Пакс». В середине XIX века вал был срыт, а мостик демонтирован в 1876 году (по другим данным, в 1864).

Главный вход с высоким крыльцом находился на северной стороне здания, со стороны улицы Рюютли. Крыльцо украшали четыре тосканские колонны и волюты с деревянной фигурой Марса. Стены здания были покрыты красноватой штукатуркой, крыша, черепичной, с кованым флюгером.

На первом этаже находилось шесть комнат. Из вестибюля на второй этаж, где располагались апартаменты Петра I, вела деревянная лестница. На втором этаже было девять комнат, включая зал. Полы были выложены дубовым паркетом, а потолки украшены плафонами с аллегорическими изображениями. Предполагается, что росписи потолков были выполнены в 1708 году художниками И. Одольским, А. Захаровым, Д. Соловьевым и Д. Буралевским.

Здание было построено в 1676 году по проекту Захариаса Гофмана-младшего для сапожника Якоба Нимана. В 1697 году он продал его Иоганну Луде, столяру или мастеру серебряных дел. В 1704-1705 годах архитекторы И.М. Угрюмов и Д. Трезини объединили это здание с соседним домом Георга Хехта, создав «Государевы палаты».

По некоторым данным, в 1705 году в доме проводились ремонтные работы, а в 1708 году он был перестроен под резиденцию Петра I.

В первой половине XIX века здание находилось в ведении военного министерства, здесь размещались комендантское управление и его архив (по другим данным, городской архив). В 1867 году на первом этаже действовала немецкая церковная школа для мальчиков. В 1866 году дом был передан Нарвскому обществу граждан Большой гильдии, и в нем открылся историко-мемориальный музей, основанный на коллекциях Нарвского археологического общества и дворца Петра I. При музее работали библиотека и архив. После ликвидации общества в 1932 году дворец перешел в собственность города Нарвы. В 1933 году музей был объединен с Нарвским городским музеем имени С. и Г. Лаврецовых. Часть коллекции, эвакуированная в Ленинград в 1941 году, была возвращена в 1956 году. Остальная часть коллекции в 1945 году была распределена между музеями Таллина, Раквере и Пайде, но с 1949 года постепенно возвращалась в Нарвский музей.

При отступлении немецких войск в 1944 году дворец был разграблен и разрушен. Его стены стояли до конца 1960-х годов, пока готовилась проектно-реставрационная документация, затем были разобраны. Сохранились только подвалы.