Ce nageur suédois, spécialiste de longues distances en nage libre est souvent monté sur le podium des Jeux de Paris 1924 et Amsterdam 1928, mais une seule fois sur la plus haute marche, à l’issue d’un 1500 m.

Ce nageur était extrêmement populaire dans son pays parce qu’il avait été emprisonné pour avoir ignoré sa feuille de route l’invitant à faire son service militaire.

Son frère jumeau Ake (1901 – 1973) était également un médaillé olympique en natation à Paris 1924.

À la fin de sa carrière de nageur, Borg est devenu professionnel et a présenté des spectacles aquatiques. Après cela, il a travaillé comme entraîneur de natation tout en étant commerçant à Stockholm.

Sa fille Inga était une célèbre écrivaine de livres pour enfants connue pour sa série Plupp.