At inference time, we use greedy decoding to generate answers given questions as context, following the format in Fig. 3. To evaluate the original Llama-2, we add 5 QA pairs as in-context exemplars to make sure it follows the QA format. Since most questions are simple factoid questions and most answers are relatively short, we use exact match (EM) as our primary metric Kwiatkowski et al. (2019), which measures whether the model's output matches the gold answer exactly after normalization (e.g., remove articles and punctuations). To assess longer responses and accommodate minor lexical differences, we also report answer recall, which assesses if the gold answer appears in the model's output, and ROUGE-L, which measures the longest common subsequence between the model's output and the gold answer.
추론 시간에는 3. 그림의 형식에 따라 질문이 주어지면 greedy decoding을 사용하여 답을 생성합니다. 원래의 Llama-2를 평가하기 위해 QA 쌍 5개를 In-Context 예제로 추가하여 QA 형식을 따르도록 합니다. 대부분의 질문은 단순한 팩토이드 질문이고 대부분의 답은 비교적 짧기 때문에 정규화(예: 관사 및 구두점 제거) 후 모델의 출력이 금 답과 정확히 일치하는지 여부를 측정하는 exact match (EM)를 기본 메트릭으로 사용합니다 Kwiatkowski et al. (2019). 더 긴 응답을 평가하고 사소한 어휘 차이를 수용하기 위해 금 답이 모델의 출력에 나타나는지 여부를 평가하는 답변 회수와 모델의 출력과 금 답 사이의 가장 긴 공통 수열을 측정하는 ROUGE-L도 보고합니다.
추론 시간에는 3. 그림의 형식에 따라 질문이 주어지면 탐욕스러운 디코딩을 사용하여 답을 생성합니다. 원래의 Llama-2를 평가하기 위해 QA 쌍 5개를 인컨텍스트 예제로 추가하여 QA 형식을 따르도록 합니다. 대부분의 질문은 단순한 팩토이드 질문이고 대부분의 답은 비교적 짧기 때문에 정규화(예: 관사 및 구두점 제거) 후 모델의 출력이 금 답과 정확히 일치하는지 여부를 측정하는 정확도 일치(EM)를 기본 메트릭으로 사용합니다 Kwiatkowski et al. (2019). 더 긴 응답을 평가하고 사소한 어휘 차이를 수용하기 위해 금 답이 모델의 출력에 나타나는지 여부를 평가하는 답변 회수와 모델의 출력과 금 답 사이의 가장 긴 공통 수열을 측정하는 ROUGE-L도 보고합니다.