So, in Chinese we will not have not have any space between words and I have to find out what are the places where I have to break these words; and this problem is called word tokenization.
சீன மொழியில் சொற்களுக்கு இடையில் இடமில்லை, இந்த வார்த்தைகளை உடைக்க வேண்டிய இடங்கள் என்ன என்பதை நான் கண்டுபிடிக்க வேண்டும்; இந்த சிக்கல் சொல் டோக்கனைசேஷன் என்று அழைக்கப்படுகிறது.