Some researchers evaluate their agent implementations on the typical LLM benchmarks. Emerging research indicates that there is significant data contamination in the model's training data, supported by the observation that a model's performance significantly worsens when benchmark questions are modified [8; 38; 37]. This raises doubts on the authenticity of benchmark scores for both the language models and language model powered agents.
일부 연구자들은 일반적인 LLM 벤치마크에서 에이전트 구현을 평가합니다. 새로운 연구에 따르면 모델의 학습 데이터에 상당한 데이터 오염이 있는 것으로 나타났으며, 이는 벤치마크 질문이 수정될 때 모델의 성능이 현저히 악화되는 관찰을 통해 뒷받침됩니다[8; 38; 37]. 이는 Large Language Models (LLMs)와 LLM 기반 에이전트 모두의 벤치마크 점수의 진위 여부에 대한 의문을 제기합니다.
일부 연구자들은 일반적인 LLM 벤치마크에서 에이전트 구현을 평가합니다. 새로운 연구에 따르면 모델의 학습 데이터에 상당한 데이터 오염이 있는 것으로 나타났으며, 이는 벤치마크 질문이 수정될 때 모델의 성능이 현저히 악화되는 관찰을 통해 뒷받침됩니다[8; 38; 37]. 이는 언어 모델과 언어 모델 기반 에이전트 모두의 벤치마크 점수의 진위 여부에 대한 의문을 제기합니다.