Përshkruani dy metoda të përdorura zakonisht për pastrimin e të dhënave të tekstit
Metodat e zakonshme për pastrimin e të dhënave të tekstit janë zëvendësimi i vargut, tokenizimi, stemimi dhe lematizimi dhe shprehjet e rregullta. Zëvendësimi i vargut përfshin zëvendësimin e disa fjalëve ose frazave me të tjera, të tilla si shkurtesat me fjalë të plota. Tokenizimi është procesi i ndarjes së një vargu të madh teksti në fjalë, fraza dhe simbole individuale. Rrjedhimi dhe lematizimi janë teknika që përdoren për të reduktuar fjalët në formën e tyre bazë. Së fundi, shprehjet e rregullta mund të përdoren për të identifikuar modelet në tekst dhe për t'i zëvendësuar ato me rezultatet e dëshiruara.