Dataset SizesTable 13 gives the size in BPE tokens and in examples of each dataset before and after deduplication.
Table 13은 중복 제거 전후의 각 데이터셋의 BPE 토큰 수와 예제 수를 제공합니다.
데이터 세트 크기표 13은 중복 제거 전후의 각 데이터 세트의 BPE 토큰 및 예제 수의 크기를 나타낸다.