هذي قصة عن تشفير زوج البايت للتشفير، شنيا الفوائد الي عندها هذا المفهوم غير التضغط؟
Context:كودينج جوج بايت (BPE) أو كودينج ديغرام هو شكل بسيط و قوي من ضغط البيانات والذي فيه الزوج الأكثر شيوعًا من البايتات المتداخلة من البيانات في تسلسل يتم استبدالها ببايت ما يحدثش داخل التسلسل. يلزم جدول للاستعاضة باش نجمو نجموا نجموا نجموا نجموا نجموا نجموا نجموا نجموا الخوارزمية ظهرت لأول مرة من قبل فيليب غيج في فبراير 1994 في مقال بعنوان "خوارزمية جديدة لتضغط البيانات" في مجلة C Users Journal.  ثبت متغير من التقنية انها مفيدة في عدة مجالات معالجة اللغة الطبيعية (NLP) ، لتطبيقات مثل التوكن، كما في جوجل's SentencePiece و OpenAI's GPT-3. هنا، الهدف ميش ضغط البيانات، ولكن توكنيسيشن للنص في لغة معينة لإنتاج تسلسل متغير من المصطلحات من مفردات حجم ثابتة من الرموز. عادة، معظم الكلمات تتم ترميزها كرمز واحد، أما الكلمات النادرة تتم ترميزها كسلسلة من عدد قليل من الرموز، حيث تمثل هذه الرموز أجزاء الكلمة المعنية. ترجمة النص هذا لتوكنات يمكن تلاقيها عن طريق تغييرات في تشفير زوج البايت، مثل وحدات الكلمات الفرعية.  التشفير بثنائي البايت يصلح لمهام NLP بسبب بساطته وسرعته؛ BPE فعال بشكل مناسب لتعريف المصطلحات، ولا يحتاج إلى تكاليف إضافية حاسوبية كبيرة، ويبقى متسق، مما يجعله موثوق.
إستخدام بديل لترميز زوج البايت غير التضغط هو التوكن. يمكن استخدام التوكن في معالجة اللغة الطبيعية لتشفير علامات الكلمات للبساطة والسرعة في مهام NLP.