C’est à l’âge de cinq ans que le petit Japonais débute la natation avant de rencontrer quelques années plus tard, l’entraîneur qui va lui faire franchir tous les paliers. Ce dernier, remarque en effet que Kitajima a des prédispositions pour la brasse notamment au niveau des pieds.

Après avoir fait ses classes dans tous les bassins du monde, il remporte un premier titre mondial à Barcelone en 2003 et franchit sur 100 m brasse une barre symbolique. Il est le premier sous la minute (59’98 »).

Lors des Jeux d’Athènes 2004, il est double champion olympique sur 100 et 200 m brasse. Il va récidiver son exploit dans le cube d’eau à Pékin en dépit d’une concurrence qui l’avait bousculée les années précédentes. Mieux même sur 100 m, il établit un nouveau record du monde en descendant sous les 59 secondes.

Il sera encore du relais 4×100 m quatre nages qui remporte l’argent à Londres 2012.

Ces nombreux exploits ont fait de lui, le sportif le plus célèbre du soleil levant. Kitajima a pris sa retraite en avril 2016 après avoir raté sa qualification pour les Jeux olympiques d’été de Rio 2016. Il tentait de se qualifier pour ses cinquièmes Jeux olympiques.