Now, before going into what is tokenization I will just talk about slight little problem sentence segmentation.
இப்போது, டோக்கனைசேஷன் என்றால் என்ன என்பதற்குச் செல்வதற்கு முன், ப்ரோப்லேம் சென்டென்ஸ் செக்மென்ட்டேஷன் பற்றி பேசுவேன்.