هيدا قصة عن ترميز زوج البايت للتشفير، شو الفوائد اللي في المفهوم ده غير التضغط؟
Context:تشفير زوج البايت (BPE) أو تشفير ديغرام هيدا شكل بسيط وقوي من ضغط البيانات اللي بيستبدل فيه الزوج الأكتر شيوعًا من البايتات المتداخلة للبيانات في تسلسل ببايت مش موجود داخل التسلسل. لازم توجد جدول بحث عن البدائل عشان نعاود بناء البيانات الأصلية. الخوارزمية وصفت لأول مرة علناً من قبل فيليب غيج في فبراير 1994 مقالة بعنوان "خوارزمية جديدة لضغط البيانات" في مجلة C Users Journal.  في متغير من التقنية اللي بينت انه مفيد في مجالات متعددة من معالجة اللغة الطبيعية (NLP) ، للتطبيقات زي التوكن، زي اللي شاف في جوجل سنتس بيس و اوبن آي جي بي تي-3. هيك، الهدف مش ضغط البيانات، بس توكن النص بلغة معينة لإنتاج تسلسل متغير من المصطلحات من مفردات توكنات ذات حجم ثابت. عادةً، أغلب الكلمات بتتشفير كرمز واحد، أما الكلمات النادرة بتتشفير كتسلسل من عدد قليل من الرموز، بحيث تمثل الرموز أجزاء الكلمة ذات المعنى. الترجمة من النص إلى توكنات ممكن تتحقق عن طريق أشكال من ترميز زوج البايت، زي وحدات الكلمات الفرعية.  تشفير زوج البايت بيحسن في مهام NLP بسبب بساطته وسرعته؛ بي بي إي بيحسن التأثير في تشفير المصطلحات، ما بيحتاج لتكاليف حاسوبية كبيرة، وبتبقى متسقة، مما يجعلها موثوقة.
استخدام بديل لترميز زوج البايت بالإضافة للتضغط هوي التوكن. التوكن يمكن يستخدم في معالجة اللغة الطبيعية لتشفير رموز الكلمات للبساطة والسرعة في مهام NLP.