La construction de cette ligne est envisagée et laissée sans suite en 1866 comme en 1875. À la suite de la loi du 17 juillet 1879 (plan Charles de Freycinet comportant 181 lignes en France), le tracé de la ligne à une voie à écartement standard non électrifiée, de 72 km, reliant Jussey à Darnieulles est retenu sous le numéro 28 par le ministère des Travaux publics. Après une enquête étudiant les intérêts respectifs de deux tracés, la voie est reconnue d'utilité publique par un décret du 14 avril 1881. Une convention de concession est signée entre l'État et la Compagnie des chemins de fer de l'Est le 11 juin 1883. Les travaux commencent en 1883 et s’achèvent en 1886, année de mise en service de la ligne. La ligne est portée ensuite à deux voies en raison de son importance stratégique, et elle est prolongée directement jusqu'à Épinal par un raccordement à la ligne Neufchâteau-Épinal. La ligne 051 000 est anciennement désignée par le numéro 24 du réseau est de la France, par le numéro 60 de la Compagnie de l'Est (qui en reçoit la concession le 11 juin 1883, confirmée par la loi du 20 novembre 1883) et enfin par le numéro 28. La mise en service a lieu le 21 novembre 1886. Le 13 juillet 1915, il est procédé à la réception définitive par le service de contrôle des travaux d’infrastructures de la ligne de Jussey à Darnieulles. Des quais militaires sont aménagés dans cinq gares. La fermeture intervient par étapes entre 1951 et 1994.