Many language model benchmarks are designed to be solved in a single iteration, with no tool calls, such as MMLU or GSM8K [3; 10]. While these are important for measuring the abilities of base language models, they are not good proxies for agent capabilities because they do not account for agent systems' ability to reason over multiple steps or access outside information. StrategyQA improves upon this by assessing models' reasoning abilities over multiple steps, but the answers are limited to Yes/No responses [7]. As the industry continues to pivot towards agent focused use-cases additional measures will be needed to better assess the performance and generalizability of agents to tasks involving tools that extend beyond their training data.
많은 언어 모델 벤치마크는 MMLU 또는 GSM8K [3; 10]과 같이 도구 호출 없이 한 번의 반복으로 풀 수 있도록 설계되었습니다. 이러한 벤치마크는 기본 언어 모델의 능력을 측정하는 데는 중요하지만, 여러 단계에 걸쳐 추론하거나 외부 정보에 액세스하는 agent 시스템의 능력을 설명하지 못하기 때문에 agent 기능의 좋은 대리 역할을 하지 못합니다. StrategyQA는 여러 단계에 걸친 모델의 추론 능력을 평가함으로써 이를 개선하지만, 답변은 Yes/No 응답으로 제한됩니다 [7]. 업계가 agent 중심의 사용 사례로 전환함에 따라 학습 데이터를 넘어서는 도구와 관련된 작업에 대한 agent의 성능과 일반화 가능성을 더 잘 평가하기 위한 추가적인 측정이 필요할 것입니다.
많은 언어 모델 벤치마크는 MMLU 또는 GSM8K [3; 10]과 같이 도구 호출 없이 한 번의 반복으로 풀 수 있도록 설계되었습니다. 이러한 벤치마크는 기본 언어 모델의 능력을 측정하는 데는 중요하지만, 여러 단계에 걸쳐 추론하거나 외부 정보에 액세스하는 에이전트 시스템의 능력을 설명하지 못하기 때문에 에이전트 기능의 좋은 대리 역할을 하지 못합니다. StrategyQA는 여러 단계에 걸친 모델의 추론 능력을 평가함으로써 이를 개선하지만, 답변은 예/아니요 응답으로 제한됩니다 [7]. 업계가 에이전트 중심의 사용 사례로 전환함에 따라 교육 데이터를 넘어서는 도구와 관련된 작업에 대한 에이전트의 성능과 일반화 가능성을 더 잘 평가하기 위한 추가적인 측정이 필요할 것입니다.