The CMA-ES optimization results reveals that all three models are important, as suggested by the uniformity of the optimized weighting values. The dominant density from the Japanese LLM suggests its critical contribution to solving the task. We conjecture that this may also be partially attributed to the Japanese LM's larger amount of fine-tunings from the Mistral base model. In line with the discussion in [50, Section 4.6], the sparsification of DARE tends to degrade performance when applied to such extensively fine-tuned models. Our evolutionary search has seemingly managed to address this issue by increasing the density for the Japanese LM.
CMA-ES optimization 결과에 따르면 최적화된 가중치 값의 균일성에서 알 수 있듯이 세 가지 모델이 모두 중요하다는 것을 알 수 있습니다. 일본어 LLM의 지배적인 밀도는 작업 해결에 중요한 기여를 하고 있음을 시사합니다. 이는 부분적으로는 일본어 LM이 Mistral 기본 모델에서 더 많은 양의 Fine-tuning을 거쳤기 때문일 수도 있다고 추측합니다. [50, 섹션 4.6]의 논의에 따르면, 광범위하게 Fine-tuning된 모델에 DARE를 적용할 경우 희소화가 성능을 저하시키는 경향이 있습니다. 우리의 진화적 검색은 일본어 LM의 밀도를 높여 이 문제를 해결한 것으로 보입니다.
CMA-ES 최적화 결과에 따르면 최적화된 가중치 값의 균일성에서 알 수 있듯이 세 가지 모델이 모두 중요하다는 것을 알 수 있습니다. 일본어 LLM의 지배적인 밀도는 작업 해결에 중요한 기여를 하고 있음을 시사합니다. 이는 부분적으로는 일본어 LM이 미스트랄 기본 모델에서 더 많은 양의 미세 조정을 거쳤기 때문일 수도 있다고 추측합니다. [50, 섹션 4.6]의 논의에 따르면, 광범위하게 미세 조정된 모델에 DARE를 적용할 경우 희소화가 성능을 저하시키는 경향이 있습니다. 우리의 진화적 검색은 일본어 LM의 밀도를 높여 이 문제를 해결한 것으로 보입니다.