Many research teams introduce their own unique agent benchmarks alongside their agent implementation which makes comparing multiple agent implementations on the same benchmark challenging. Additionally, many of these new agent-specific benchmarks include a hand-crafted, highly complex, evaluation set where the results are manually scored [2]. This can provide a high-quality assessment of a method's capabilities, but it also lacks the robustness of a larger dataset and risks introducing bias into the evaluation, since the ones developing the method are also the ones writing and scoring the results. Agents can also have problems generating a consistent answer over multiple iterations, due to variability in the models, environment, or problem state. This added randomness poses a much larger problem to smaller, complex evaluation sets.
많은 연구팀이 자체적으로 고유한 agent 벤치마크를 agent 구현과 함께 소개하기 때문에 동일한 벤치마크에서 여러 agent 구현을 비교하는 것이 어렵습니다. 또한 이러한 새로운 agent-specific 벤치마크의 대부분에는 수작업으로 채점된 매우 복잡한 평가 세트가 포함되어 있습니다[2]. 이는 방법의 기능을 고품질로 평가할 수 있지만, 더 큰 데이터 세트의 robustness가 부족하고 방법을 개발하는 사람이 결과를 작성하고 채점하는 사람이기 때문에 평가에 편견이 유입될 위험이 있습니다. agent는 모델, 환경 또는 문제 상태의 변동성으로 인해 여러 반복에서 일관된 답변을 생성하는 데 문제가 있을 수도 있습니다. 이러한 추가 무작위성은 더 작고 복잡한 평가 세트에 훨씬 더 큰 문제를 야기합니다.
많은 연구팀이 자체적으로 고유한 에이전트 벤치마크를 에이전트 구현과 함께 소개하기 때문에 동일한 벤치마크에서 여러 에이전트 구현을 비교하는 것이 어렵습니다. 또한 이러한 새로운 에이전트별 벤치마크의 대부분에는 수작업으로 채점된 매우 복잡한 평가 세트가 포함되어 있습니다[2]. 이는 방법의 기능을 고품질로 평가할 수 있지만, 더 큰 데이터 세트의 견고성이 부족하고 방법을 개발하는 사람이 결과를 작성하고 채점하는 사람이기 때문에 평가에 편견이 유입될 위험이 있습니다. 에이전트는 모델, 환경 또는 문제 상태의 변동성으로 인해 여러 반복에서 일관된 답변을 생성하는 데 문제가 있을 수도 있습니다. 이러한 추가 무작위성은 더 작고 복잡한 평가 세트에 훨씬 더 큰 문제를 야기합니다.