Furthermore, researchers have found that "As LLMs progress at a rapid pace, existing datasets usually fail to match the models' ever-evolving capabilities, because the complexity level of existing benchmarks is usually static and fixed" [37]. To address this, work has been done to create dynamic benchmarks that are resistant to simple memorization [38; 37]. Researchers have also explored the idea of generating an entirely synthetic benchmark based on a user's specific environment or use case [14; 27]. While these techniques can help with contamination, decreasing the level of human involvement can pose additional risks regarding correctness and the ability to solve problems.
게다가 연구자들은 "LLMs가 빠른 속도로 발전함에 따라, 기존 데이터셋은 모델의 끊임없이 진화하는 능력에 보통 부합하지 못한다. 이는 기존 벤치마크의 복잡성 수준이 보통 정적이고 고정되어 있기 때문이다" [37]라고 발견했습니다. 이를 해결하기 위해, 단순한 암기에 저항할 수 있는 동적 벤치마크를 만드는 작업이 진행되었습니다 [38; 37]. 연구자들은 또한 사용자의 특정 환경이나 사용 사례를 기반으로 완전히 합성된 벤치마크를 생성하는 아이디어를 탐구했습니다 [14; 27]. 이러한 기술들이 오염 문제를 해결하는 데 도움이 될 수 있지만, 인간의 개입 수준을 줄이는 것은 정확성과 문제 해결 능력에 추가적인 위험을 초래할 수 있습니다.
또한 연구자들은 "LLM이 빠른 속도로 발전함에 따라 기존 데이터 세트는 일반적으로 단정하고 고정된 기존 벤치마크의 복잡도 수준 때문에 모델의 끊임없이 진화하는 기능을 따라잡지 못한다"고 발견했습니다[37]. 이를 해결하기 위해 단순한 암기에는 강한 동적 벤치마크를 만드는 작업이 진행되고 있습니다[38; 37]. 연구자들은 또한 사용자의 특정 환경이나 사용 사례에 따라 완전히 합성 벤치마크를 생성하는 아이디어도 탐구했습니다[14; 27]. 이러한 기술은 오염을 방지하는 데 도움이 될 수 있지만, 사람의 개입 수준을 낮추면 정확성과 문제 해결 능력에 대한 추가적인 위험이 발생할 수 있습니다.