Related to our work is an experiment, called Automerge [27], released at around the same time as this work. This interesting experiment works by selecting two random models from the top 20 models on the Open LLM Leaderboard [20] and randomly apply SLERP [47] or DARE-TIES [49; 50] to create new models. Over time, some of these models will do well, or even better on the benchmark tasks that define this leaderboard, becoming part of the leaderboard. We predict this approach will lead to combinations of the merged models that overfit to the benchmark tasks defined on the leaderboard. The author acknowledged that the idea behind this project was less about creating better models, but more about getting more metrics to help derive a more principled approach to model merging.
이 작업과 비슷한 시기에 출시된 Automerge[27]라는 실험이 이 작업과 관련이 있습니다. 이 흥미로운 실험은 Open LLM Leaderboard[20]의 상위 20개 모델 중에서 두 개의 무작위 모델을 선택하고 SLERP[47] 또는 DARE-TIES[49; 50]를 무작위로 적용하여 새로운 모델을 만드는 방식으로 작동합니다. 시간이 지남에 따라 이러한 모델 중 일부는 이 리더보드를 정의하는 벤치마크 작업에서 더 잘하거나 심지어 더 나은 성능을 발휘하여 리더보드의 일부가 됩니다. 저희는 이 접근 방식이 리더보드에 정의된 벤치마크 작업에 과적합하는 병합된 모델의 조합으로 이어질 것으로 예측합니다. 저자는 이 프로젝트의 아이디어가 더 나은 모델을 만드는 것이 아니라 모델 병합에 대한 보다 원칙적인 접근 방식을 도출하는 데 도움이 되는 더 많은 메트릭을 확보하는 데 더 중점을 두었다고 인정했습니다.
이 작업과 비슷한 시기에 출시된 Automerge[27]라는 실험이 이 작업과 관련이 있습니다. 이 흥미로운 실험은 Open LLM 리더보드[20]의 상위 20개 모델 중에서 두 개의 무작위 모델을 선택하고 SLERP[47] 또는 DARE-TIES[49; 50]를 무작위로 적용하여 새로운 모델을 만드는 방식으로 작동합니다. 시간이 지남에 따라 이러한 모델 중 일부는 이 리더보드를 정의하는 벤치마크 작업에서 더 잘하거나 심지어 더 나은 성능을 발휘하여 리더보드의 일부가 됩니다. 저희는 이 접근 방식이 리더보드에 정의된 벤치마크 작업에 과적합하는 병합된 모델의 조합으로 이어질 것으로 예측합니다. 저자는 이 프로젝트의 아이디어가 더 나은 모델을 만드는 것이 아니라 모델 병합에 대한 보다 원칙적인 접근 방식을 도출하는 데 도움이 되는 더 많은 메트릭을 확보하는 데 더 중점을 두었다고 인정했습니다.