Training SetupWe trained all of the models using the unsupervised training procedure described in Section 3.2. For each dataset, we divided the auxiliary knowledge base into equal chunks of size \(256\) by concatenating or splitting the original chunks based on their length. We also added two special tokens, \(<\)BOS\(>\) and \(<\)EOS\(>\), to demarcate the original chunks' beginnings and ends to preserve the documents' structure.
훈련 설정: 우리는 섹션 3.2에서 설명한 비지도 학습 절차를 사용하여 모든 모델을 훈련시켰습니다. 각 데이터셋에 대해, 보조 지식 베이스를 원래 청크의 길이에 따라 연결하거나 분할하여 크기 \(256\)의 동일한 청크로 나누었습니다. 또한 문서의 구조를 보존하기 위해 원래 청크의 시작과 끝을 구분하는 두 개의 특수 토큰, \(<\)BOS\(>\)와 \(<\)EOS\(>\)를 추가했습니다.
훈련 설정섹션 3.2에 설명된 비지도 훈련 절차를 사용하여 모든 모델을 훈련했습니다. 각 데이터 세트에 대해 보조 지식 기반을 길이에 따라 원본 청크를 연결하거나 분할하여 \(256\) 크기의 동일한 청크로 나누었습니다. 또한 문서의 구조를 유지하기 위해 원본 청크의 시작과 끝을 구분하기 위해 두 개의 특수 토큰인 \(<\)BOS\(>\)와 \(<\)EOS\(>\)를 추가했습니다.