La tour, mentionnée dès 1415 et appelée "Chalon" à l'origine, se situe, selon Brice Collet, à l'emplacement d'une canonnière percée dans le rempart. A la fin du 15e siècle, elle est nommée tour de la "Poterne", en référence à la présence d'une poterne qui fut murée par la suite. Cette ouvrage est à rapprocher des autres tours érigées à cette époque, commanditées par les ducs de Bourgogne afin que la ville soit en état de se défendre. A l'origine, elle n'avait qu'un seul étage, par lequel le chemin de ronde cheminait à la gorge de l'édifice. En 1826, l'état de section du cadastre indique la présence d'une maison à l'emplacement de la tour, toujours visible de nos jours.