Aqui está uma descrição sobre o encodamento de pares de bytes para criptografia, quais são os benefícios deste conceito além da compressão?
A codificação por pares de bytes (BPE) ou codificação por dígramas é uma forma simples e robusta de compressão de dados na qual o par mais comum de bytes contíguos de dados em uma sequência é substituído por um byte que não ocorre dentro da sequência. Uma tabela de pesquisa dos substituições é necessária para reconstruir os dados originais. O algoritmo foi descrito publicamente pela primeira vez por Philip Gage em um artigo de fevereiro de 1994 "Um novo algoritmo para compressão de dados" no C Users Journal. Uma variante da técnica mostrou-se útil em vários domínios de processamento de linguagem natural (NLP), para aplicações como tokenização, como visto no SentencePiece do Google e no GPT-3 da OpenAI. Aqui, o objetivo não é a compressão de dados, mas a tokenização de texto em uma linguagem dada para produzir uma sequência variável de termos a partir de um vocabulário de tokens. Normalmente, a maioria das palavras será codificada como um único token, enquanto as palavras raras serão representadas por um único token, enquanto a tradução por um par de tokens será encontrada por uma variante de velocidade e não é eficaz, pois a codificação por uma grande parcela de palavras não é encontrada na BPE, e a tradução por uma série de unidades de códigos é eficaz, onde a tradução por uma parcela de tokens é encontrada por uma grande velocidade, e não é adequada para as partes de codificação por uma série de unidades de palavras.
Um uso alternativo para a codificação de pares de bytes além da compressão seria a tokenização. A tokenização pode ser usada no Processamento de Linguagem Natural para codificar tokens de palavras para simplicidade e velocidade em tarefas de PNL.