इसलिए अंग्रेजी के लिए हम जो भी समस्याएँ देखेंगे, उन सभी टोकनाइजर्स का ध्यान रखा जाएगा जिन पर हमने पहले चर्चा की है लेकिन, अभी भी यह जानना अच्छा है; जब मैं एक टोकनाइजेशन एल्गोरिथ्म को डिजाइन करने की कोशिश करता हूं तो इसमें कौन सी चुनौतियां शामिल हैं।
ஆங்கிலத்தைப் பொறுத்தவரை நாம் காணும் பெரும்பாலான சிக்கல்கள் முன்பு விவாதித்த டோக்கனைசர்களைக் படுத்துவதுதான், டோக்கனைசேஷன் வழிமுறையை வடிவமைக்க முயற்சித்தபோது என்னென்ன சவால்கள் உள்ளன என்பதைப்பற்றி பார்க்கலாம்.