We collected our _Evol-Instruct_ testset that includes real-world human instructions from diverse sources such as online opensource projects, platforms, and forums. We analyzed the data and identified 29 distinct skills that represent the main requirements of humanity, such as Coding Generation \(\&\) Debugging, Math, Reasoning, Complex Formats, Writing, Extensive Disciplines, and so on. Figure 3a illustrates the distribution of the instances and skills in our test set. Our test set consists of 218 instances, each of which is an instruction for a specific skill. We compared our test set with Vicuna's test set, which is a benchmark dataset for evaluating instruction following models. We found that Vicuna's test set only 80 instances and 9 skills and is much smaller and less diverse than ours. Figure 3b shows how the difficulty and complexity of the test data vary across different instances. Our test data has a more uniform distribution, meaning that it contains instructions with different levels of difficulty and complexity. On the other hand, Vicuna and Alpaca have a skewed distribution, meaning that they mostly contain instructions with low difficulty and complexity. This indicates that these two corpus are not able to handle the evaluation on more complex and demanding scenarios.
온라인 오픈소스 프로젝트, 플랫폼, 포럼 등 다양한 출처에서 실제 인간의 지침을 포함하는 _Evol-Instruct_ 테스트 세트를 수집했습니다. 데이터를 분석한 결과 코딩 생성 및 디버깅, 수학, 추론, 복잡한 형식, 글쓰기, 광범위한 분야 등 인류의 주요 요구 사항을 대표하는 29개의 기술을 확인했습니다. 그림 3a는 테스트 세트의 인스턴스와 스킬의 분포를 보여줍니다. 테스트 세트는 218개의 인스턴스로 구성되며, 각 인스턴스는 특정 스킬에 대한 Instruction입니다. 우리의 테스트 세트를 Instruction 수행 모델을 평가하기 위한 벤치마크 데이터 세트인 Vicuna의 테스트 세트와 비교했습니다. Vicuna의 테스트 세트는 80개의 인스턴스와 9개의 스킬로 구성되어 있으며, 우리의 테스트 세트보다 훨씬 작고 다양성이 떨어지는 것을 발견했습니다. 그림 3b는 테스트 데이터의 난이도와 복잡성이 다른 인스턴스에 따라 어떻게 달라지는지를 보여줍니다. 우리의 테스트 데이터는 보다 균일한 분포를 가지고 있어 난이도와 복잡도가 다른 수준의 Instruction을 포함하고 있습니다. 반면에 Vicuna와 Alpaca는 분포가 치우쳐져 있어 대부분 난이도와 복잡도가 낮은 Instruction을 포함하고 있습니다. 이는 이 두 코퍼스가 더 복잡하고 까다로운 시나리오에 대한 평가를 처리할 수 없음을 나타냅니다.
온라인 오픈소스 프로젝트, 플랫폼, 포럼 등 다양한 출처에서 실제 인간의 지침을 포함하는 _Evol-Instruct_ 테스트 세트를 수집했습니다. 데이터를 분석한 결과 코딩 생성 및 디버깅, 수학, 추론, 복잡한 형식, 글쓰기, 광범위한 분야 등 인류의 주요 요구 사항을 대표하는 29개의 기술을 확인했습니다. 그림 3a는 테스트 세트의 인스턴스와 스킬의 분포를 보여줍니다. 테스트 세트는 218개의 인스턴스로 구성되며, 각 인스턴스는 특정 스킬에 대한 지침입니다. 우리의 테스트 세트를 지침 수행 모델을 평가하기 위한 벤치마크 데이터 세트인 Vicuna의 테스트 세트와 비교했습니다. Vicuna의 테스트 세트는 80개의 인스턴스와 9개의 스킬로 구성되어 있으며, 우리의 테스트 세트보다 훨씬 작고 다양성이 떨어지는 것을 발견했습니다. 그림 3b는 테스트 데이터의 난이도와 복잡성이 다른 인스턴스에 따라 어떻게 달라지는지를 보여줍니다. 우리의 테스트 데이터는 보다 균일한 분포를 가지고 있어 난이도와 복잡도가 다른 수준의 지침을 포함하고 있습니다. 반면에 Vicuna와 Alpaca는 분포가 치우쳐져 있어 대부분 난이도와 복잡도가 낮은 지침을 포함하고 있습니다. 이는 이 두 코퍼스가 더 복잡하고 까다로운 시나리오에 대한 평가를 처리할 수 없음을 나타냅니다.