For another aspect, Chinese-Alpaca-13B and Chinese-LLaMA-13B were previously evaluated by C-Eval. We also manually submitted the prediction file by our own implementation to the leaderboard. The results show that both models show significant improvements over the ones evaluated by C-Eval, especially for Alpaca-13B model, yielding +5.8 average score (from 30.9 to 36.7). Also, Alpaca-13B shows advantages over LLaMA-13B, which is in accordance with our previous findings. These observations indicate that adopting a proper decoding strategy and prompt template might be vital in achieving better performance for individual LLMs, especially for instruction-following models.
또 다른 측면에서 Chinese-Alpaca-13B와 Chinese-LLaMA-13B는 이전에 C-Eval에 의해 평가되었습니다. 또한 저희는 자체 구현을 통해 예측 파일을 리더보드에 수동으로 제출했습니다. 그 결과 두 모델 모두 C-Eval로 평가된 모델보다 크게 개선된 것으로 나타났으며, 특히 Alpaca-13B 모델의 경우 평균 점수가 +5.8점(30.9점에서 36.7점으로) 상승했습니다. 또한 Alpaca-13B는 이전 연구 결과와 일치하는 LLaMA-13B보다 장점을 보였습니다. 이러한 관찰 결과는 적절한 decoding 전략과 prompt template을 채택하는 것이 개별 LLMs, 특히 Instruction-following 모델의 성능을 향상시키는 데 매우 중요할 수 있음을 나타냅니다.
또 다른 측면에서 중국어-알파카-13B와 중국어-LLaMA-13B는 이전에 C-Eval에 의해 평가되었습니다. 또한 저희는 자체 구현을 통해 예측 파일을 리더보드에 수동으로 제출했습니다. 그 결과 두 모델 모두 C-Eval로 평가된 모델보다 크게 개선된 것으로 나타났으며, 특히 알파카-13B 모델의 경우 평균 점수가 +5.8점(30.9점에서 36.7점으로) 상승했습니다. 또한 알파카-13B는 이전 연구 결과와 일치하는 LLaMA-13B보다 장점을 보였습니다. 이러한 관찰 결과는 적절한 디코딩 전략과 프롬프트 템플릿을 채택하는 것이 개별 LLM, 특히 명령어 추종 모델의 성능을 향상시키는 데 매우 중요할 수 있음을 나타냅니다.