Battu de justesse lors du décathlon des Jeux de Melbourne 1956, l’Américain réussit à s’imposer à Rome quatre ans plus tard à la faveur d’une victoire sur le chinois de Taipei, Yang. Si Yang est le plus fort en remportant 7 épreuves sur 10, Johnson est le plus régulier et obtient finalement la médaille d’or.

À Rome 1960, Rafer Johnson était le porte-drapeau de la délégation Américaine, un privilège rare confié à l’époque à un athlète noir. Quelques mois plus tard, seulement âgé de 25 ans, il décide de mettre un terme à sa carrière sportive pour laquelle il est désigné athlète de l’année par l’Associated Press.

Devenu comédien, il a joué notamment dans un James Bond « Permis de tuer » avec Timothy Dalton.

Rafer a soutenu la candidature du sénateur Robert Kennedy pour les élections présidentielles Américaines. Présent lors de l’assassinat de celui-ci en juin 1968, il aida à maitriser le meurtrier Sirhan Sirhan.

Durant les soixante-dix, Johnson a été membre de la commission nationale d’athlétisme des États-Unis et fut élu au Hall of Fame national en 1974. En 1984, il est le dernier porteur de la flamme olympique (photo) lors de la cérémonie d’ouverture des Jeux olympiques de Los Angeles.