\(\bullet\)_Byte-Pair Encoding (BPE) tokenization._ BPE was originally proposed as a general data compression algorithm in 1994 [221], and then adapted to NLP for tokenization [222]. It starts with a set of basic symbols (_e.g.,_ the alphabets and boundary characters), and iteratively combine frequent pairs of two consecutive tokens in the corpus as new tokens (called _merge_). For each merge, the selection criterion is based on the co-occurrence frequency of two contiguous tokens: the top frequent pair would be selected. The merge process continues until it reaches the predefined size. Further, Byte-level BPE has been used to improve the tokenization quality for multilingual corpus (_e.g.,_ the text containing non-ASCII characters) by considering _bytes_ as the basic symbols for merge. Representative language models with this tokenization approach include GPT-2, BART, and LLaMA.
\(\bullet\)_Byte-Pair Encoding (BPE) tokenization._ BPE는 1994년 일반적인 데이터 압축 알고리즘으로 처음 제안된 후[221], NLP에 적용되어 tokenization[222]에 사용되었습니다. 기본 기호(예: 알파벳 및 경계 문자) 집합으로 시작하여 말뭉치에서 연속된 두 token의 빈도가 높은 쌍을 새로운 token으로 반복적으로 결합합니다(merge라고 함). 각 merge에 대해 두 개의 연속된 token의 동시 발생 빈도를 기준으로 선택 기준이 정해지며, 가장 빈도가 높은 쌍이 선택됩니다. 미리 정의된 크기에 도달할 때까지 merge 프로세스가 계속됩니다. 또한 바이트 수준 BPE는 merge를 위한 기본 기호로 _바이트_를 고려하여 다국어 말뭉치(_예: 비ASCII 문자가 포함된 텍스트)의 tokenization 품질을 개선하는 데 사용되었습니다. 이 tokenization 접근 방식을 사용하는 대표적인 언어 모델로는 GPT-2, BART, LLaMA 등이 있습니다.
\(\bullet\)_바이트 쌍 인코딩(BPE) 토큰화._ BPE는 1994년 일반적인 데이터 압축 알고리즘으로 처음 제안된 후[221], NLP에 적용되어 토큰화[222]에 사용되었습니다. 기본 기호(예: 알파벳 및 경계 문자) 집합으로 시작하여 말뭉치에서 연속된 두 토큰의 빈도가 높은 쌍을 새로운 토큰으로 반복적으로 결합합니다(병합이라고 함). 각 병합에 대해 두 개의 연속된 토큰의 동시 발생 빈도를 기준으로 선택 기준이 정해지며, 가장 빈도가 높은 쌍이 선택됩니다. 미리 정의된 크기에 도달할 때까지 병합 프로세스가 계속됩니다. 또한 바이트 수준 BPE는 병합을 위한 기본 기호로 _바이트_를 고려하여 다국어 말뭉치(_예: 비ASCII 문자가 포함된 텍스트)의 토큰화 품질을 개선하는 데 사용되었습니다. 이 토큰화 접근 방식을 사용하는 대표적인 언어 모델로는 GPT-2, BART, LLaMA 등이 있습니다.