هنا قصة عن ترميز زوج البايت للتشفير، ايه الفوائد اللي ليه المفهوم ده غير الضغط؟
Context:إن ترميز زوج البايت (BPE) أو ترميز الديغرام هو شكل بسيط وقوي من ضغط البيانات حيث يتم استبدال الزوج الأكثر شيوعًا من البايتات المتجاورة للبيانات في تسلسل ببايت لا يحدث داخل التسلسل. مطلوب جدول بحث عن البدائل عشان تعيد البيانات الأصلية. تم وصف الخوارزمية لأول مرة علناً من قبل فيليب غيج في مقالة في فبراير 1994 بعنوان "خوارزمية جديدة لتضغط البيانات" في مجلة C Users Journal.  اتبين أن نوع من التقنية مفيد في العديد من مجالات معالجة اللغة الطبيعية (NLP) ، للتطبيقات زي التوكن، زي ما هو موجود في SentencePiece من جوجل و GPT-3 من OpenAI. هنا، الهدف مش ضغط البيانات، لكن توكنيزيشن النص بلغة معينة لإنتاج تسلسل متغير من المصطلحات من مفردات رمزية ذات حجم ثابت. عادةً، معظم الكلمات بتتشفير كرمز واحد، في حين أن الكلمات النادرة بتتشفير كسلسلة من عدد قليل من الرموز، حيث تمثل هذه الرموز أجزاء الكلمة ذات المعنى. يمكن العثور على ترجمة النص ده إلى رموز عن طريق المتغيرات من ترميز زوج البايت، زي وحدات الكلمات الفرعية.  يتناسب ترميز زوج البايت مع مهام البرمجة الطبيعية الوطنية بسبب بساطته وسرعته؛ بي بي إي فعال بشكل مناسب لتعريف المصطلحات، ولا يحتاج إلى تكاليف حاسوبية كبيرة، ويبقى متسقًا، مما يجعله موثوقًا.
استخدام بديل لتشفير زوج البايت بجانب الضغط هيكون التوكن. يمكن استخدام التوكن في معالجة اللغة الطبيعية لتشفير رموز الكلمات من أجل البساطة والسرعة في مهام NLP.