Jon Olsen était d’abord et avant tout un nageur de relais qui a remporté un total de 27 médailles dans de grandes compétitions internationales dont 20 en or. Pourtant sa notoriété n’a pas dépassée les frontières des États-Unis car il était éclipsé par ses compatriotes Matt Biondi et Tom Jagger qui se sont eux imposés individuellement.

Olsen a représenté les États-Unis à deux Jeux olympiques consécutifs et a remporté un total de cinq médailles olympiques, dont quatre d’or. Aux Jeux olympiques d’été de Barcelone 1992, il a remporté sa première médaille d’or en tant que membre de l’équipe américaine gagnante au relais 4 × 100 m nage libre, avec Joe Hudepohl, Matt Biondi et Tom Jager.

Il a poursuivi sa quête d’or avec l’équipe américaine du relais 4 × 100 m quatre nages aux côtés de Jeff Rouse, Nelson Diebel et Pablo Morales. Il a également reçu une médaille de bronze en tant que membre de l’équipe américaine du relais 4 × 200 m nage libre.

Quatre ans plus tard, aux Jeux olympiques de Atlanta 1996, Olsen était capitaine de l’équipe américaine et il a de nouveau remporté une médaille d’or en tant que membre du relais 4 × 100 m nage libre avec ses collègues Josh Davis, Brad Schumacher et Gary Hall. Il a reçu une autre médaille d’or avec le relais 4 × 200 m nage libre.

Son sens de l’esprit collectif a fait de lui désormais un entraineur qui exerce en Floride.