Von Halmay est né dans le Royaume de Hongrie dans une région qui est aujourd’hui devenue la Slovaquie. Il est une des figures de la natation au début du siècle. Il détient pendant près de 20 ans le record du monde du 100 m établi sur un lac non loin de Saint-Louis dans le Missouri à l’occasion des Jeux de 1904. Cette année-là, le nageur remporte également le seul 50 yards de l’histoire des Jeux.

Déjà médaillé d’argent à Paris en 1900, il sera plusieurs fois médaillé d’argent à Londres 1908, quatre ans après son sacre dans le Missouri.

Von Halmay avait une particularité. Il ne nageait qu’avec ses bras, laissant ses jambes suivre le mouvement. Sa polyvalence est illustrée par le fait qu’il était également un athlète, un rameur et un joueur de football remarquable. Il a également remporté un championnat national de patinage à roulettes.

Après sa retraite sportive, il a travaillé comme entraîneur fédéral de l’Association hongroise de natation.