C’est l’un des plus grands coureurs du peloton professionnel dans les années 1950 au palmarès vertigineux.

D’abord spécialiste de la piste, il bat deux fois le record du monde de l’heure en 1954 et 1956. C’est cette année-là qu’il participe aux Jeux de Melbourne 1956 et qu’il s’impose dans la course sur route. Il est à noter que les organisateurs Australiens ne parvenant pas à mettre la main sur l’hymne italien demandent à des ressortissants présents aux Jeux de venir chanter l’hymne pendant que Baldini reçoit sa médaille d’or.

Après ce succès olympique, Ercole Baldini passe professionnel et remporte le Championnat du monde de 1958, l’année même où il s’impose dans le Giro, le Tour d’Italie.

Dans les années qui ont suivi, Baldini n’a pas été en mesure de répéter les saisons précédentes, en particulier pour des problèmes de poids causés par des dysfonctionnements physiques jamais résolus, résultant peut-être de complications d’une opération de l’appendicite qu’il avait subie.

Après avoir été directeur sportif de plusieurs formations professionnelles il a été choisi comme président de la Fédération italienne de cyclisme. Il était également un collaborateur de l’ancien président de l’Union cycliste internationale, Hein Verbruggen.