LLaMA generally yields better performance in a few-shot setting, while Alpaca prefers zero-shot.Generally speaking, LLaMA with 5-shot setting shows better performance than zero-shot setting, while Alpaca with zero-shot setting is much better than 5-shot one. As LLaMA is not designed for instruction-following, few-shot setting might give valuable information on how to follow the question answering structure in C-Eval. However, on the contrary, as Alpaca has already been trained with millions of instruction data, it is less likely to benefit from additional shots. Also, the official 5-shot setting uses identical prompts for all samples, making it some distraction for Alpaca models.
LLaMA는 일반적으로 few-shot 설정에서 더 나은 성능을 보이는 반면, Alpaca는 zero-shot을 선호합니다. 일반적으로 5-shot 설정의 LLaMA는 zero-shot 설정보다 더 나은 성능을 보이는 반면, zero-shot 설정의 Alpaca는 5-shot 설정보다 훨씬 낫습니다. LLaMA는 Instruction-following을 위해 설계되지 않았기 때문에 few-shot 설정은 C-Eval에서 질문 답변 구조를 따르는 방법에 대한 귀중한 정보를 제공할 수 있습니다. 그러나 반대로 Alpaca는 이미 수백만 개의 Instruction 데이터로 학습되었기 때문에 추가 shots의 이점을 누릴 가능성이 적습니다. 또한 공식 5-shot 설정에서는 모든 샘플에 동일한 프롬프트를 사용하므로 Alpaca 모델에 약간의 산만함을 유발할 수 있습니다.
LLaMA는 일반적으로 몇 번의 샷 설정에서 더 나은 성능을 보이는 반면, 알파카는 제로 샷을 선호합니다.일반적으로 5샷 설정의 LLaMA는 제로 샷 설정보다 더 나은 성능을 보이는 반면, 제로 샷 설정의 알파카는 5샷 설정보다 훨씬 낫습니다. LLaMA는 명령어 추종을 위해 설계되지 않았기 때문에 몇 번의 샷 설정은 C-Eval에서 질문 답변 구조를 따르는 방법에 대한 귀중한 정보를 제공할 수 있습니다. 그러나 반대로 알파카는 이미 수백만 개의 명령어 데이터로 학습되었기 때문에 추가 샷의 이점을 누릴 가능성이 적습니다. 또한 공식 5샷 설정에서는 모든 샘플에 동일한 프롬프트를 사용하므로 알파카 모델에 약간의 산만함을 유발할 수 있습니다.