**Implementation Details.** For each task and dataset, we evaluate the compared LLMs using the same prompts and results parsing method provided by existing work (_i.e.,_ TruthfulQA, HotPotQA, Gorilla, HaluEval) or designed according to our empirical experience (_i.e.,_ TriviaQA, Natural Questions, Web Questions, ARC, WikiFact, GSM8k, MATH, C-Objects, Penguins, LAMBADA, WMT22, XSum, HumanEval, CrowS-Pairs, WinoGender, RealToxicityPrompt). Specifically, all the experiments about closed-source models are based on invoking their official APIs, while for open-source models, we utilize their publicly available code and model parameters, and perform the inference on 8 A800-80G GPUs. For TriviaQA, OpenbookQA, HellaSwag, and SocialIQA, we experiment on the development set since the test set is not publicly released. While for other datasets, we experiment on the test set. To reproduce our experiments, we also publicly release our experimental code and data in [https://github.com/RUCAIBox/LLMSurvey/tree/main/Experiments](https://github.com/RUCAIBox/LLMSurvey/tree/main/Experiments).
**구현 세부 사항.** 각 작업과 데이터 세트에 대해 기존 작업(_예: TruthfulQA, HotPotQA, Gorilla, HaluEval)에서 제공하는 동일한 prompts와 결과 parsing 방법 또는 경험에 따라 설계된(_예: TriviaQA, Natural Questions, Web Questions, ARC, WikiFact, GSM8k, MATH, C-Objects, Penguins, LAMBADA, WMT22, XSum, HumanEval, CrowS-Pairs, WinoGender, RealToxicityPrompt)을 사용하여 비교 대상 LLM을 평가합니다. 구체적으로, 비공개 모델에 대한 모든 실험은 공식 APIs를 호출하는 것을 기반으로 하며, 오픈 소스 모델의 경우 공개적으로 사용 가능한 코드와 모델 parameters를 활용하고 8개의 A800-80G GPUs에서 추론을 수행합니다. TriviaQA, OpenbookQA, HellaSwag, SocialIQA의 경우 테스트 세트가 공개적으로 공개되지 않았기 때문에 개발 세트에 대해 실험합니다. 다른 데이터 세트의 경우 테스트 세트에 대해 실험합니다. 실험을 재현하기 위해 실험 코드와 데이터를 [https://github.com/RUCAIBox/LLMSurvey/tree/main/Experiments](https://github.com/RUCAIBox/LLMSurvey/tree/main/Experiments)에 공개적으로 공개합니다.
**구현 세부 사항.** 각 작업과 데이터 세트에 대해 기존 작업(_예: TruthfulQA, HotPotQA, Gorilla, HaluEval)에서 제공하는 동일한 프롬프트와 결과 구문 분석 방법 또는 경험에 따라 설계된(_예: TriviaQA, Natural Questions, Web Questions, ARC, WikiFact, GSM8k, MATH, C-Objects, Penguins, LAMBADA, WMT22, XSum, HumanEval, CrowS-Pairs, WinoGender, RealToxicityPrompt)을 사용하여 비교 대상 LLM을 평가합니다. 구체적으로, 비공개 모델에 대한 모든 실험은 공식 API를 호출하는 것을 기반으로 하며, 오픈 소스 모델의 경우 공개적으로 사용 가능한 코드와 모델 파라미터를 활용하고 8개의 A800-80G GPU에서 추론을 수행합니다. TriviaQA, OpenbookQA, HellaSwag, SocialIQA의 경우 테스트 세트가 공개적으로 공개되지 않았기 때문에 개발 세트에 대해 실험합니다. 다른 데이터 세트의 경우 테스트 세트에 대해 실험합니다. 실험을 재현하기 위해 실험 코드와 데이터를 [https://github.com/RUCAIBox/LLMSurvey/tree/main/Experiments](https://github.com/RUCAIBox/LLMSurvey/tree/main/Experiments)에 공개적으로 공개합니다.