Image generation model merging really took off in the community only after such methods were implemented in open-source toolkits [4]. Similarly, language model merging really gained popularity after the implementation of _mergekit_[15, 28]. This toolkit provides all of the popular _recipes_ for merging language models. In addition to simple linear and spherical interpolation, advanced recipes such as Task Arithmetic, TIES-Merging, DARE are also implemented, offering users the ability to experiment with combining these methods to work with fine-tunes of popular base models such as Mistral [22]. With this toolkit, a large number of capable merged models are developed by the community, and most of the top models on the Open LLM Leaderboard [20] are gradually dominated by merged models produced by the community of language model enthusiasts.
이러한 방법이 오픈 소스 툴킷[4]에 구현된 이후에야 커뮤니티에서 이미지 생성 모델 병합이 본격적으로 시작되었습니다. 마찬가지로 언어 모델 병합은 _mergekit_[15, 28]이 구현된 이후 인기를 얻었습니다. 이 툴킷은 언어 모델 병합에 널리 사용되는 모든 _recipes_를 제공합니다. 단순한 선형 및 구형 보간 외에도 Task Arithmetic, TIES-Merging, DARE와 같은 고급 recipes도 구현되어 있어 사용자는 이러한 방법을 결합하여 Mistral [22]과 같은 인기 있는 기본 모델의 Fine-tuning 작업을 할 수 있습니다. 이 툴킷을 통해 커뮤니티에서 많은 수의 유능한 병합 모델이 개발되었으며, Open LLM Leaderboard[20]의 상위 모델 대부분은 언어 모델 애호가 커뮤니티에서 제작한 병합 모델이 점차 장악하고 있습니다.
이러한 방법이 오픈 소스 툴킷[4]에 구현된 이후에야 커뮤니티에서 이미지 생성 모델 병합이 본격적으로 시작되었습니다. 마찬가지로 언어 모델 병합은 _mergekit_[15, 28]이 구현된 이후 인기를 얻었습니다. 이 툴킷은 언어 모델 병합에 널리 사용되는 모든 _레시피_를 제공합니다. 단순한 선형 및 구형 보간 외에도 Task Arithmetic, TIES-Merging, DARE와 같은 고급 레시피도 구현되어 있어 사용자는 이러한 방법을 결합하여 Mistral [22]과 같은 인기 있는 기본 모델의 미세 조정 작업을 할 수 있습니다. 이 툴킷을 통해 커뮤니티에서 많은 수의 유능한 병합 모델이 개발되었으며, 오픈 LLM 리더보드[20]의 상위 모델 대부분은 언어 모델 애호가 커뮤니티에서 제작한 병합 모델이 점차 장악하고 있습니다.