C’est à 31 ans que le cavalier néo-zélandais découvre les Jeux olympiques à Barcelone 1992. Il participe à l’épreuve de concours complet et après un départ catastrophique parvient à remporter une médaille de bronze. Il rate complètement le dressage, mais se ressaisi en cross et en saut d’obstacles. Dans la foulée, il est médaillé d’argent par équipe.

À Atlanta 1996 quatre ans plus tard, Tait a retenu les erreurs passées. Il est champion olympique de concours complet et termine troisième par équipe. Il sera par la suite trois fois vainqueur de la Coupe du monde.

Porte-drapeau de l’équipe néo-zélandaise aux Jeux olympiques d’été de Sydney 2000, il a été éliminé dans les épreuves individuelles et par équipe.

Tait a terminé sa carrière olympique en compétition avec une cinquième place à Athènes 2004 avant d’être nommé responsable du concours complet lors des Jeux olympiques d’été de 2008.