To increase the diversity of document lengths, we collect five conversational QA datasets with short documents (less than 1.5K words). On average, 1 word will be tokenized into 1.5 tokens. Hence, the document can be directly fitted into LLMs with a sequence length of 4K tokens.
문서 길이의 다양성을 높이기 위해, 우리는 짧은 문서(1.5K 단어 이하)를 포함한 다섯 개의 대화형 QA 데이터셋을 수집합니다. 평균적으로, 1개의 단어는 1.5개의 토큰으로 토큰화됩니다. 따라서 문서는 4K 토큰의 시퀀스 길이를 가진 LLM에 직접 맞출 수 있습니다.
문서 길이의 다양성을 높이기 위해 짧은 문서(1.5K 단어 미만)가 포함된 5개의 대화형 QA 데이터 세트를 수집합니다. 평균적으로 1단어는 1.5개의 토큰으로 토큰화됩니다. 따라서 문서는 시퀀스 길이가 4K 토큰인 LLM에 직접 맞출 수 있습니다.