the hyper-parameters settings remain the same as Stanford Alpaca. To better evaluate the instruction following ability of fine-tuned models, we consider two settings, namely _Chat setting_ and _QA setting_. The chat setting mainly utilizes user instructions and queries from daily chat, whereas the QA setting mainly employs question answering examples from existing NLP datasets. The evaluation on the chat setting is conducted based on the AlpacaFarm evaluation set [363]. Instead of using a full pairwise comparison, we select the LLaMA 7B and 13B models fine-tuned on Self-Instruct-52K as the reference baselines, and then compare them with other fine-tuned LLaMA 7B and 13B models using different instructions, respectively. Since our focus is to examine the usefulness of different strategies to generate the instructions, the model fine-tuned on Self-Instruct-52K can serve as a good reference. Following AlpacaFarm [363], for each comparison, we employ ChatGPT to automatically annotate which response from two compared models each time is the best for the user query, and report the win rate (%) as the evaluation metric. For the QA setting, we select two benchmarks, MMLU [364] and BBH [365], and evaluate the accuracy based on their default settings by using heuristic rules to parse the answers from these LLMs.
하이퍼파라미터 설정은 Stanford Alpaca와 동일하게 유지됩니다. Fine-tuned 모델의 Instruction 추종 능력을 더 잘 평가하기 위해 _Chat setting_과 _QA setting_이라는 두 가지 설정을 고려합니다. Chat setting은 주로 일상적인 채팅에서 사용자 명령과 쿼리를 활용하는 반면, QA setting은 주로 기존 NLP 데이터 세트의 question answering 예제를 활용합니다. Chat setting에 대한 평가는 AlpacaFarm 평가 세트 [363]를 기반으로 수행됩니다. 전체 쌍별 비교를 사용하는 대신 Self-Instruct-52K에서 Fine-tuned된 LLaMA 7B 및 13B 모델을 기준 기준으로 선택한 다음, 다른 Instruction을 사용하여 Fine-tuned된 다른 LLaMA 7B 및 13B 모델과 각각 비교합니다. 이 연구의 초점은 Instruction을 생성하는 다양한 전략의 유용성을 조사하는 것이므로, Self-Instruct-52K에서 Fine-tuned된 모델이 좋은 기준이 될 수 있습니다. AlpacaFarm [363]에 따라 각 비교에 대해 ChatGPT를 사용하여 비교 대상 모델에서 각각 사용자 쿼리에 가장 적합한 응답이 무엇인지 자동으로 주석을 달고, 그 비율(%)을 평가 지표로 보고합니다. QA setting의 경우 MMLU [364]와 BBH [365]라는 두 가지 벤치마크를 선택하고, 이러한 LLM에서 답변을 구문 분석하기 위해 heuristic rules를 사용하여 기본 설정을 기반으로 정확도를 평가합니다.
하이퍼파라미터 설정은 스탠포드 알파카와 동일하게 유지됩니다. 미세 조정된 모델의 명령어 추종 능력을 더 잘 평가하기 위해 _채팅 설정_과 _QA 설정_이라는 두 가지 설정을 고려합니다. 채팅 설정은 주로 일상적인 채팅에서 사용자 명령과 쿼리를 활용하는 반면, QA 설정은 주로 기존 NLP 데이터 세트의 질문 답변 예제를 활용합니다. 채팅 설정에 대한 평가는 알파카팜 평가 세트 [363]를 기반으로 수행됩니다. 전체 쌍별 비교를 사용하는 대신 Self-Instruct-52K에서 미세 조정된 LLaMA 7B 및 13B 모델을 기준 기준으로 선택한 다음, 다른 명령어를 사용하여 미세 조정된 다른 LLaMA 7B 및 13B 모델과 각각 비교합니다. 이 연구의 초점은 명령을 생성하는 다양한 전략의 유용성을 조사하는 것이므로, Self-Instruct-52K에서 미세 조정된 모델이 좋은 기준이 될 수 있습니다. 알파카팜 [363]에 따라 각 비교에 대해 ChatGPT를 사용하여 비교 대상 모델에서 각각 사용자 쿼리에 가장 적합한 응답이 무엇인지 자동으로 주석을 달고, 그 비율(%)을 평가 지표로 보고합니다. QA 설정의 경우 MMLU [364]와 BBH [365]라는 두 가지 벤치마크를 선택하고, 이러한 LLM에서 답변을 구문 분석하기 위해 휴리스틱 규칙을 사용하여 기본 설정을 기반으로 정확도를 평가합니다.