Quatre médailles d’or, trois d’argent et une de bronze font de ce tireur norvégien un des plus grands médaillés olympiques de sa discipline. Il remportera trois médailles d’or lors des Jeux d’Anvers 1920 dans les disciplines du tir au cerf courant en individuel et par équipe et au tir au fusil militaire.

Lors des Jeux de Paris 1924, quatre ans plus tard, il retrouvera la première place du podium par équipe toujours dans l’épreuve du tir sur cible mouvante. Il pratiquait également le tir au fusil militaire en individuel et par équipe pour lequel il a obtenu ses médailles d’argent et sa médaille de bronze à Anvers et à Paris.

Il est le tireur norvégien avec le plus grand nombre de médailles olympiques, huit au total. Dans la vie professionnelle, Olsen était originaire d’Oslo et travaillait comme responsable du fret pour la compagnie ferroviaire norvégienne NSB.