Башня На погребу является единственной квадратной среди пяти глухих башен. Внутри она разделена мостами на два яруса, а под ней находился погреб для хранения оружия и пороха. У этой башни нет бойниц, и она имеет ровные стены без расширения к верху. Рядом с башней в стене кремля расположен проход, углублённый в цоколь, который ведёт к берегу Упы. Предполагается, что изначально проход был скрыт щитом, чтобы оставаться незаметным. В XVII веке из-за этого прохода башню называли башней «у малых воротец на погребу» или просто башней «у малых воротец».

До 1921 года на башне был установлен шпиль с гербом Москвы, который, вероятно, появился ещё в XVIII веке.