 Doğal dil işlemede tokenizasyon, köklendirme ve lemmatizasyon terimlerini tanımlar.
Belirteçleştirme, bir cümleyi tek tek kelimelere ve noktalama işaretlerine bölme işlemidir. Stemming, bir kelimenin kök biçimini belirlemek için son ekleri ve önekleri kaldırma işlemidir. Lemmatizasyon, ilgili kelimeleri anlamlarına göre gruplandırma işlemidir, böylece tek bir terim bir kelimenin farklı biçimlerini temsil edebilir. Tüm bu işlemler, doğal dil işlemede kelime sayısını azaltmak ve doğal dil verilerini etkin bir şekilde işlemek için kullanılır.