Pre-instruction-tuning is not simply upweighting salient tokens from documentsWe include an ablation inspired by Hu et al. (2023) which upweights tokens when pre-training on documents to focus on salient information. We assign a weight of 1.0 to tokens in documents that are included in the answers (e.g., "Jennifer Lame" in the sentence "Editing was handled by Jennifer Lame"), and assign a lower weight of 0.5 to other tokens. As shown in Tab.
사전 Instruction Tuning은 단순히 문서에서 눈에 띄는 토큰을 가중치로 높이는 것이 아닙니다. 우리는 눈에 띄는 정보에 집중하기 위해 문서에 대한 사전 학습 시 토큰의 가중치를 높이는 Hu et al. (2023)에서 영감을 얻은 절제를 포함합니다. 답안에 포함된 문서의 토큰(예: "편집은 Jennifer Lame이 처리했습니다."의 "Jennifer Lame")에 1.0의 가중치를 부여하고 다른 토큰에 0.5의 낮은 가중치를 부여합니다. 표에 표시된 대로
사전 지시 튜닝은 단순히 문서에서 눈에 띄는 토큰을 가중치로 높이는 것이 아닙니다.우리는 눈에 띄는 정보에 집중하기 위해 문서에 대한 사전 학습 시 토큰의 가중치를 높이는 Hu et al. (2023)에서 영감을 얻은 절제를 포함합니다. 답안에 포함된 문서의 토큰(예: "편집은 Jennifer Lame이 처리했습니다."의 "Jennifer Lame")에 1.0의 가중치를 부여하고 다른 토큰에 0.5의 낮은 가중치를 부여합니다. 표에 표시된 대로