Название Дворцовой башни, живописно возвышающейся в южной части Детинца, является ошибочным. В древности её называли иначе: «на житном дворе», «у хлебного двора» или «против магазеиного двора». Логично было бы назвать её Житной или Хлебной, но краеведы решили иначе. Дворцовая площадь, название которой они присвоили башне, действительно существовала в Детинце, но находилась в другом месте, рядом со Спасской башней. Единственным оправданием может служить наличие в башне необычной для такого сооружения роскоши, фресковых росписей в арках бойниц. Однако эти украшения не соответствуют дворцовому стилю, представляя собой лишь сочетания треугольников, ромбов, кругов и других простых фигур. В XIX веке Дворцовая башня была использована для весьма прозаичных нужд: в ней хранили архивы судебной палаты и казначейства. Планировалось открыть там шкиперскую школу и музей судоходства, а саму башню использовать как маяк, поскольку её видно издалека. Однако от этих планов отказались из-за необходимости реконструкции.