Seul le finlandais Pertli Karppinen, le plus célèbre rameur de tous les temps a réussi à faire aussi bien que d’Ivanov. Le Russe a remporté trois titres olympiques consécutifs dans la discipline-reine, le skiff, un engin qui se pratique seul, entre Melbourne 1956 à Tokyo 1964.

Il s’est imposé à Melbourne, Rome et Tokyo. Lors de son dernier titre remporté au Japon, Ivanov raconte que son effort physique était tellement puissant qu’il perdit connaissance un instant avant de constater qu’il était toujours en tête de l’épreuve et de s’imposer.

En 1968, Ivanov espérait participer aux Jeux de Mexico. Finalement, les sélectionneurs lui préfèrent un jeune remplaçant qui n’atteindra pas même la finale.

En 1960, à l’apogée de sa carrière de rameur, Ivanov a obtenu son diplôme d’une école militaire. Après avoir pris sa retraite des compétitions, il a servi comme officier dans la marine et pris sa retraite avec le grade de capitaine.