इसलिए जब मैं संस्कृत में या अंग्रेजी में इस टोकनाइजेशन समस्या के बारे में बात करता हूं, तो इस समस्या को शब्द सेगमेंटेशन भी कहा जाता है, कैरक्टर्स का एक सीक्वेंस होता है और आप इसमें अलग-अलग शब्दों का पता लगाने के लिए सेगमेंट करते हैं।
டோக்கனைசேஷன் குறித்த இந்த சிக்கலைப் பற்றி நான் சமஸ்கிருதத்திலோ அல்லது ஆங்கிலத்திலோ பேசும்போது இந்தச் சொல், சொல் பிரிவு என்றும் அழைக்கப்படுகிறது, எழுத்துக்களின் வரிசையைக் கொண்டிருங்கள், தனிப்பட்ட சொற்களைக் கண்டுபிடிக்க அதைப் பிரிக்கவும்.