All these benchmarks consist of English instructions from multiple categories or tasks. However, though sharing some common use cases such as general knowledge QA and coding, the coverage of the instructions in different benchmarks are indeed different. For example, Xu et al. (2023) discuss in detail how Evol-Instruct is different from Vicuna in instruction distribution. The difference between instruction distributions effectively mimic the practical scenario where we have different downstream tasks.
이러한 모든 벤치마크는 여러 카테고리 또는 작업의 영어 Instructions로 구성되어 있습니다. 그러나 일반 지식 QA 및 코딩과 같은 몇 가지 일반적인 사용 사례를 공유하지만, 서로 다른 벤치마크에서 Instructions의 범위는 실제로 다릅니다. 예를 들어, Xu et al. (2023)은 Instruction 분포에서 Evol-Instruct가 Vicuna와 어떻게 다른지 자세히 설명합니다. Instruction 분포의 차이는 다양한 다운스트림 작업이 있는 실제 시나리오를 효과적으로 모방합니다.
이러한 모든 벤치마크는 여러 카테고리 또는 작업의 영어 명령어로 구성되어 있습니다. 그러나 일반 지식 QA 및 코딩과 같은 몇 가지 일반적인 사용 사례를 공유하지만, 서로 다른 벤치마크에서 명령어의 범위는 실제로 다릅니다. 예를 들어, Xu et al. (2023)은 명령어 분포에서 Evol-Instruct가 Vicuna와 어떻게 다른지 자세히 설명합니다. 명령어 분포의 차이는 다양한 다운스트림 작업이 있는 실제 시나리오를 효과적으로 모방합니다.