Il prend sa retraite en 1952 pour revenir deux ans et demi plus tard et reprendre le titre de demi-poids en 1955.
Plus tard la même année, Carmen Basilio bat aussi Robinson pour le titre, mais Robinson le vainct en 1958 pour récupérer le championnat.