When training on documents, we prepend a <bos> token and compute the standard next-token prediction loss by averaging over all tokens in the document: \(L_{\mathbf{d}}=-\sum_{t}\log P(\mathbf{d}_{t}|\mathbf{d}_{<t})/|\mathbf{d}|\).5 When training on QA pairs, we compute the average negative log-likelihood loss only on tokens in the answer given the question as the prefix: \(L_{\mathbf{a}}=-\sum_{t}\log P(\mathbf{a}_{t}|\mathbf{q},\mathbf{a}_{<t})/|\mathbf{a}|\). Fig. 3 presents an example document alongside QA pairs, where tokens used for computing losses are highlighted.
문서에 대해 학습할 때, 우리는 <bos> 토큰을 앞에 추가하고 문서의 모든 토큰에 대해 평균을 구하여 표준 다음 토큰 예측 Loss를 계산합니다: \(L_{\mathbf{d}}=-\sum_{t}\log P(\mathbf{d}_{t}|\mathbf{d}_{<t})/|\mathbf{d}|\).5 QA 쌍에 대해 학습할 때, 우리는 질문을 접두사로 주어진 답변의 토큰에 대해서만 평균 음의 로그 가능성 Loss를 계산합니다: \(L_{\mathbf{a}}=-\sum_{t}\log P(\mathbf{a}_{t}|\mathbf{q},\mathbf{a}_{<t})/|\mathbf{a}|\). 그림 3은 Loss 계산에 사용되는 토큰이 강조 표시된 예제 문서와 QA 쌍을 제시합니다.
문서에 대해 학습할 때, 우리는 토큰을 앞에 추가하고 문서의 모든 토큰에 대해 평균을 구하여 표준 다음 토큰 예측 손실을 계산합니다: \(L_{\mathbf{d}}=-\sum_{t}\log P(\mathbf{d}_{t}|\mathbf{d}_{<t})/|\mathbf{d}|\).5 QA 쌍에 대해 학습할 때, 우리는 질문을 접두사로 주어진 답변의 토큰에 대해서만 평균 음의 로그 가능성 손실을 계산합니다: \(L_{\mathbf{a}}=-\sum_{t}\log P(\mathbf{a}_{t}|\mathbf{q},\mathbf{a}_{<t})/|\mathbf{a}|\). 그림 3은 손실 계산에 사용되는 토큰이 강조 표시된 예제 문서와 QA 쌍을 제시합니다.