D'après les archives municipales, de 1514 à 1674, Ornans a bénéficié d'un droit d'asile pour ceux qui avaient "commis un homicide par accident ou par autre circonstance méritant grâce [...] prenant de chacun d'eux et de tous autres ce que rendent bourgeois et habitants audit Ornans, dix florins en monnaie pour leur réception." Le réfugié qui sollicitait l'asile devait toucher la niche creusée dans la colonne qui supportait la croix érigée près du Grand pont (côté rue Pierre Vernier) d'où son appellation "pierre d'asile". La croix a été supprimée à la Révolution. La colonne servit de pilier pour une maison au bord de la rive droite de la Loue. Elle y était encore en 1967. Après cette date, le vestige de la croix a été déplacé sur la place Robert Humblot.