Après 1957, ses aptitudes au combat ont diminué, bien que Baker ait vaincu George Chuvalo, futur champion canadien et concurrent mondial de poids lourd dans les années 1960 et 1970, par décision unanime, le 9 septembre 1957.
Sa victoire la plus remarquable est la défaite du Canadien George Chuvalo, le futur champion canadien des poids lourds, par décision unanime du 9 septembre 1957.