À un très jeune âge, Ma a commencé à étudier le violon, puis l'alto, avant de trouver sa véritable vocation en prenant le violoncelle en 1960 à l'âge de quatre ans.
Ma a commencé à étudier le violon lorsqu'il était très petit et il a également joué l'alto pendant un certain temps, puis, à l "âge de quatre ans, il a commencé la violoncelle.