अब टोकेनाइजेशन एक ऐसी प्रक्रिया है, जिसके द्वारा मैं स्ट्रिंग ऑफ कैरेक्टर्स को विभिन्न शब्दों के श्रेणी में बदल देता हूं।
க்கனைசேஷன் என்பது ஒரு செயல்முறையாகும், இதன் மூலம் எழுத்துக்களின் சரத்தை பல்வேறு சொற்களின் வரிசையாக மாற்றுகிறேன்.