هذي قصة عن تشفير زوج البايت للتشفير، ماهي فوائد هذا المفهوم غير الضغط؟
Context:تشفير زوج البايت (BPE) أو تشفير الديغرام هو شكل بسيط وقوي من ضغط البيانات حيث يتم استبدال الزوج الأكثر شيوعًا من البايت المتداخل من البيانات في تسلسل ببايت لا يحدث داخل التسلسل. جدول بحث عن البدائل مطلوب لإعادة بناء البيانات الأصلية. وصفت الخوارزمية لأول مرة علناً من قبل فيليب غيج في مقال في فبراير 1994 بعنوان "خوارزمية جديدة لضغط البيانات" في مجلة C Users Journal.  ظهرت مختلفة من التقنية مفيدة في عدة مجالات معالجة اللغة الطبيعية (NLP) ، للتطبيقات مثل التوكن، كما هو موضح في SentencePiece من جوجل و GPT-3 من OpenAI. هنا، الهدف ليس ضغط البيانات، ولكن توكن النص في لغة معينة لإنتاج تسلسل متغير من المصطلحات من مفردات توكنات ذات حجم ثابت. عادةً، معظم الكلمات ستكون مشفرة كرمز واحد، في حين أن الكلمات النادرة ستكون مشفرة كسلسلة من عدد قليل من الرموز، حيث تمثل هذه الرموز أجزاء الكلمة ذات المعنى. يمكن العثور على هذا الترجمة للنص إلى رموز بواسطة متغيرات ترميز زوج البايت، مثل وحدات الكلمات الفرعية.  يتناسب ترميز زوج البايت مع مهام NLP بسبب بساطته وسرعته؛ BPE فعال بشكل مناسب لتعريف المصطلحات، ولا يتطلب تكاليف حاسوبية كبيرة، ويبقى متسقًا، مما يجعله موثوقًا.
الاستخدام البديل لتشفير زوج البايت بجانب الضغط هو التوكن. يمكن استخدام التوكن في معالجة اللغة الطبيعية لتشفير رموز الكلمات من أجل البساطة والسرعة في مهام NLP.