Eyi ni ohun ti o jẹ nipa paati paati paati fun ifaminsi, kini awọn anfani ti imọran yii ni afikun si ifọwọkan?
Context:Àkọsílẹ̀ byte pair (BPE) tàbí àkọsílẹ̀ digram jẹ́ ọ̀nà tí ó rọrùn tí ó sì lágbára láti ṣe ìfọwọ́sọ̀rọ̀ àwọn ìsọfúnni nínú èyí tí àwọn ìsọfúnni tí ó wọ́pọ̀ jùlọ tí ó jẹ́ àwọn byte tí ó wà lẹ́gbẹ̀ẹ́ ara wọn nínú ìtòlẹ́sẹẹsẹ kan ni a fi byte tí kò wáyé nínú ìtòlẹ́sẹẹsẹ náà rọ́pò. A nilo tabili wiwa ti awọn rirọpo lati tun kọ data atilẹba. Alugoridimu naa ni a ṣe apejuwe fun igba akọkọ ni gbangba nipasẹ Philip Gage ni nkan ti Kínní 1994 "Awọn Alugoridimu Titun fun Data Compression" ni C Users Journal.  Aṣayan ti ilana naa ti fihan lati wulo ni ọpọlọpọ awọn agbegbe sisẹ ede adayeba (NLP), fun awọn ohun elo bii tokenisation, bi a ti rii ni Google's SentencePiece ati OpenAI's GPT-3. Nibi, ibi-afẹde naa kii ṣe titẹsi data, ṣugbọn tokenisation ti ọrọ ni ede ti a fun lati ṣe agbejade lẹsẹsẹ ti awọn ofin lati inu ọrọ-ọrọ ti o wa titi ti awọn ami. Ọ̀pọ̀lọpọ̀ àwọn ọ̀rọ̀ ni a ó ṣe àdàkọ rẹ̀ gẹ́gẹ́ bí àmì kan ṣoṣo, nígbà tí àwọn ọ̀rọ̀ tí kò wọ́pọ̀ ni a ó ṣe àdàkọ rẹ̀ gẹ́gẹ́ bí àwọn àmì díẹ̀, níbi tí àwọn àmì wọ̀nyí ti ń ṣojú fún àwọn apá ọ̀rọ̀ tí ó ní ìtumọ̀. Ìtumọ̀ ọ̀rọ̀ yìí sí àwọn àmì ni a lè rí nípasẹ̀ àwọn àdàkọ ìkọ̀sílẹ̀ byte pairs, bíi àwọn ẹ̀ka subword.  Àkọsílẹ̀ byte pairs máa ń mú kí NLP ṣiṣẹ́ nítorí pé ó rọrùn láti lò àti pé ó tètè ń ṣiṣẹ́; BPE máa ń mú kí àwọn ọ̀rọ̀ di àmì, kì í nílò ìnáwó tó pọ̀, ó sì máa ń bára mu, èyí sì máa ń jẹ́ kó ṣeé gbára lé.
Àtúnṣe mìíràn tí a lè lò fún ìkódíò báyítì lẹ́gbẹ̀ẹ́ ìfọwọ́sowọ́pọ̀ yóò jẹ́ kíkókódíò jẹ́ àmì. A le lo Tokenization ni Ṣiṣe Ilana Ede Aifọwọyi lati ṣe akojọ awọn aami ti awọn ọrọ fun irọrun ati iyara ni awọn iṣẹ NLP.