So now, when I talk about this problem of tokenization in Sanskrit or in English this problem is also called word segmentation, have a sequence of characters and you segment it to find out individual words.
டோக்கனைசேஷன் குறித்த இந்த சிக்கலைப் பற்றி நான் சமஸ்கிருதத்திலோ அல்லது ஆங்கிலத்திலோ பேசும்போது இந்தச் சொல், சொல் பிரிவு என்றும் அழைக்கப்படுகிறது, எழுத்துக்களின் வரிசையைக் கொண்டிருங்கள், தனிப்பட்ட சொற்களைக் கண்டுபிடிக்க அதைப் பிரிக்கவும்.