To evaluate LLaMA models on this dataset, we directly feed the examples to these models. While when evaluating Alpaca models, we wrap the examples in the prompt template as demonstrated in Section 2.5. Then the model is asked to make a one-step prediction and give the probability distribution of the next token \(p(y|\mathbf{x})\), where \(y\in\mathcal{V}\) (\(\mathcal{V}\) is the vocabulary). To map the probability distribution to a valid label \(t\) in {A, B, C, D}, we extract and gather the probabilities of related tokens.
이 데이터셋에서 LLaMA 모델을 평가하기 위해, 우리는 예제를 직접 이 모델들에 입력합니다. 반면, Alpaca 모델을 평가할 때는 Section 2.5에서 설명한 대로 프롬프트 템플릿에 예제를 감쌉니다. 그런 다음 모델에게 한 단계 예측을 수행하고 다음 토큰 \(p(y|\mathbf{x})\)의 확률 분포를 제공하도록 요청합니다. 여기서 \(y\in\mathcal{V}\) (\(\mathcal{V}\)는 어휘집입니다). 확률 분포를 {A, B, C, D} 내의 유효한 레이블 \(t\)로 매핑하기 위해 관련 토큰의 확률을 추출하고 수집합니다.
이 데이터 세트에서 LLaMA 모델을 평가하기 위해 이러한 모델에 예제를 직접 공급합니다. Alpaca 모델을 평가할 때는 2.5절에서 설명한 대로 프롬프트 템플릿에 예제를 래핑합니다. 그런 다음 모델에 한 단계 예측을 요청하고 다음 토큰의 확률 분포 \(p(y|\mathbf{x})\), 여기서 \(y\in\mathcal{V}(\mathcal{V}는 어휘)를 제공하도록 요청합니다. 확률 분포를 유효한 레이블 \(t\)에 매핑하기 위해 관련 토큰의 확률을 추출하고 수집합니다.