هاهنا قصة عن تشفير زوج البايت للتشفير، ايش الفوائد الي عند هذا المفهوم بجانب الضغط؟
Context:الترميز بثنائي البايت (BPE) او الترميز بثنائي الديجرام هو شكل بسيط وقوي من ضغط البيانات حيث يتم استبدال الزوج الاكثر شيوعا من البايت المتداخل من البيانات في التسلسل ببايت لا يحدث ضمن التسلسل. جدول البحث عن البدائل مطلوب لإعادة بناء البيانات الاصلية. الـخوارزمية وُصِفَت لأول مرة علناً من قبل فيليب غيج في فبراير 1994 مقالة "خوارزمية جديدة لضغط البيانات" في مجلة C Users Journal.  ثَبَتَ تَغْيِيرٌ مِنْ التقنيةِ مُفِيدًا في عِدَّةِ مَوَاضِعِ معالجةِ اللغةِ الطبيعيَّةِ (NLP) ، للتطبيقاتِ كالتَّوَكُّنِ، كَمَا نَرَاهُ فِي SentencePiece من جوجل و GPT-3 من OpenAI. هُنَا، الهَدَف لَيْسَ ضَغْط البيانات، بَل تَوْكِينَة النص في لغة معينة لإنتاج تَسلسل متغير من المصطلحات من مفردات حجم ثابتة من التوكنات. عادةً، معظم الكلمات سيتم ترميزها كرمز واحد، بينما الكلمات النادرة سيتم ترميزها كسلسلة من عدد قليل من الرموز، حيث تمثل هذه الرموز أجزاء كلمة ذات معنى. هذا الترجمة من النص الى الرموز يمكن ايجادها بواسطة الاختلافات في تشفير زوج البايت، مثل وحدات الكلمات الفرعية.  الترميز بثنائي البايت يتناسب مع مهام NLP بسبب بساطته وسرعته؛ BPE فعال بشكل مناسب لتعريف المصطلحات، ولا يتطلب تكاليف حاسوبية كبيرة، ويبقى متسق، مما يجعله موثوق.
اِستِعْمَال بديل لترميز زوج البايت بجانب الضغط هو التوكن. التوكن يمكن ان يستخدم في معالجة اللغة الطبيعية لتشفير رموز الكلمات من اجل البساطة والسرعة في مهام NLP.