One popular benchmark that uses real-world data is WildBench, which is sourced from the WildChat dataset of 570,000 real conversations with ChatGPT [35]. Because of this, it covers a huge breadth of tasks and prompts. While WildBench covers a wide range of topics, most other real-world benchmarks focus on a specific task. For example, SWE-bench is a benchmark that uses a set of real-world issues raised on GitHub for software engineering tasks in Python [13]. This can be very helpful when evaluating agents designed to write Python code and provides a sense for how well agents can reason about code related problems; however, it is less informative when trying to understand agent capabilities involving other programming languages.
실제 데이터를 사용하는 인기 있는 벤치마크 중 하나는 WildBench로, ChatGPT와의 570,000개의 실제 대화로 구성된 WildChat 데이터셋에서 가져왔습니다 [35]. 이 때문에 다양한 작업과 프롬프트를 포괄합니다. WildBench는 광범위한 주제를 다루지만, 대부분의 다른 실제 벤치마크는 특정 작업에 중점을 둡니다. 예를 들어, SWE-bench는 Python으로 소프트웨어 엔지니어링 작업을 위해 GitHub에서 제기된 실제 문제들을 사용하는 벤치마크입니다 [13]. 이는 Python 코드를 작성하도록 설계된 에이전트를 평가할 때 매우 유용하며, 에이전트가 코드 관련 문제를 얼마나 잘 이해하는지에 대한 감을 제공합니다. 그러나 다른 프로그래밍 언어와 관련된 에이전트의 능력을 이해하려고 할 때는 덜 유용합니다.
실제 데이터를 사용하는 인기 있는 벤치마크 중 하나는 WildChat의 570,000개의 실제 대화 데이터 세트인 WildBench[35]에서 가져온 데이터입니다. 따라서 광범위한 작업과 프롬프트를 다룰 수 있습니다. WildBench는 다양한 주제를 다루지만, 대부분의 다른 실제 벤치마크는 특정 작업에 초점을 맞추고 있습니다. 예를 들어, SWE-bench는 Python의 소프트웨어 엔지니어링 작업을 위해 GitHub에서 제기된 실제 이슈 세트를 사용하는 벤치마크입니다[13]. 이는 파이썬 코드 작성을 위해 설계된 에이전트를 평가할 때 매우 유용하며, 에이전트가 코드 관련 문제를 얼마나 잘 추론할 수 있는지에 대한 감을 잡을 수 있지만, 다른 프로그래밍 언어와 관련된 에이전트 기능을 이해하려는 경우에는 정보가 덜 풍부합니다.