Përshkruani termat tokenization, stemming dhe lemmatization në përpunimin e gjuhës natyrore.
Tokenization është procesi i ndarjes së një fjalie në fjalët e saj individuale dhe shenjat e pikësimit. Rrjedhimi është procesi i heqjes së prapashtesave dhe parashtesave për të përcaktuar formën rrënjësore të një fjale. Lematizimi është procesi i grupimit së bashku të fjalëve të lidhura bazuar në kuptimin e tyre, në mënyrë që një term i vetëm të mund të përfaqësojë forma të ndryshme të një fjale. Të gjitha këto procese përdoren në përpunimin e gjuhës natyrore për të zvogëluar numrin e fjalëve dhe për të përpunuar në mënyrë efektive të dhënat e gjuhës natyrore.