هانا قصة عن تشفير زوج البايت للتشفير، اي فوائد لهذه الفكرة بجانب الضغط؟
Context:تشفير زوج البايت (BPE) او تشفير الديغرام هو شكل بسيط وقوي من ضغط البيانات حيث يتم استبدال الزوج الأكثر شيوعًا من البايت المتداخل من البيانات في تسلسل ببايت لا يحدث داخل التسلسل. جدول بحث عن البدائل مطلوب لإعادة بناء البيانات الأصلية. اول مرة وصفت الخوارزميه علنا من قبل فيليب جيج في فبراير 1994 مقالة "خوارزميه جديده لضغط البيانات" في مجلة C Users Journal.  تظهر متغيرات من هذه التقنية مفيدة في عدة مجالات معالجة اللغة الطبيعية (NLP) ، لتطبيقات مثل التوكن، كما هو مبين في SentencePiece من جوجل و GPT-3 من OpenAI. هنا، الهدف ليس ضغط البيانات، لكن توكنيزاسيون النص في لغة معينة لإنتاج تسلسل متغير من المصطلحات من مفردات توكنات ذات حجم ثابت. عادةً، معظم الكلمات ستكون مشفرة كرمز واحد، بينما الكلمات النادرة ستكون مشفرة كسلسلة من بضعة رموز، حيث تمثل هذه الرموز أجزاء كلمة ذات معنى. هذا الترجمة من النص الى الرموز يمكن ايجادها بواسطة اشكال من تشفير زوج البايت، مثل وحدات الكلمات الفرعية.  تشفير زوج البايت مناسب لمهام NLP بسبب بساطته وسرعته؛ BPE فعال بشكل مناسب لتعريف المصطلحات، ولا يتطلب تكاليف حاسوبية كبيرة، ويبقى متسقًا، مما يجعله موثوقًا.
استخدام بديل لتشفير زوج البايت بجانب الضغط سيكون التوكن. التوكن يمكن استخدامه في معالجة اللغة الطبيعية لتشفير رموز الكلمات من أجل البساطة والسرعة في مهام NLP.