Many of the existing benchmarks focus on the ability of Agent systems to reason over logic puzzles or video games [17]. While evaluating performance on these types of tasks can help get a sense of the reasoning capabilities of agent systems, it is unclear whether performance on these benchmarks translates to real-world performance. Specifically, real-world data can be noisy and cover a much wider breadth of topics that many common benchmarks lack.
많은 기존 벤치마크는 에이전트 시스템이 논리 퍼즐이나 비디오 게임에서 추론하는 능력에 중점을 둡니다 [17]. 이러한 유형의 작업에서 성능을 평가하는 것이 에이전트 시스템의 추론 능력을 파악하는 데 도움이 될 수 있지만, 이러한 벤치마크에서의 성능이 실제 세계의 성능으로 이어지는지는 불분명합니다. 특히, 실제 세계의 데이터는 노이즈가 많고 많은 일반적인 벤치마크에서 다루지 않는 훨씬 더 넓은 범위의 주제를 포함할 수 있습니다.
기존의 많은 벤치마크는 에이전트 시스템이 논리 퍼즐이나 비디오 게임을 추론하는 능력에 초점을 맞추고 있다[17]. 이러한 유형의 작업에 대한 성능을 평가하는 것은 에이전트 시스템의 추론 능력을 파악하는 데 도움이 될 수 있지만, 이러한 벤치마크의 성능이 실제 성능으로 이어지는지는 확실하지 않습니다. 특히, 실제 데이터는 노이즈가 있을 수 있고 많은 일반적인 벤치마크에 없는 훨씬 더 광범위한 주제를 다룰 수 있습니다.