OptimizationFor optimization in PS, we used the CMA-ES[17] algorithm implemented in Optuna [2] with default hyper-parameters. Specifically, we set all initial parameter values to 0.5, sigma to 1/6, and the population size to \(4+\lfloor 3\ln(n_{\text{params}})\rfloor\), where \(n_{\text{params}}\) is the number of parameters to optimize. The fitness value is defined as the accuracy for all 1069 training samples. Please note that this set is disjoint from MGSM's test set. The optimization was conducted for 1000 trials, and the best trial with respect to the training accuracy was chosen as the final model. We decided to employ TIES-Merging [49] with DARE [50] through preliminary experiments, and optimized its parameters.
최적화For optimization in PS, 기본 하이퍼파라미터로 Optuna [2]에 구현된 CMA-ES[17] 알고리즘을 사용했습니다. 특히, 모든 초기 parameter 값을 0.5로, sigma를 1/6로, 모집단 크기를 \(4+\lfloor 3\ln(n_{\text{params}})\rfloor\)로 설정했으며, 여기서 \(n_{\text{params}}\)는 최적화할 parameter의 수입니다. fitness 값은 1069개의 모든 훈련 샘플에 대한 정확도로 정의됩니다. 이 집합은 MGSM의 테스트 세트와는 별개라는 점에 유의하세요. 최적화는 1000번의 시도에 걸쳐 수행되었으며, 훈련 정확도와 관련하여 최고의 시도가 최종 모델로 선택되었습니다. 예비 실험을 통해 DARE [50]와 함께 TIES-Merging [49]을 사용하기로 결정하고 그 parameter를 최적화했습니다.
최적화PS에서 최적화를 위해 기본 하이퍼파라미터로 Optuna [2]에 구현된 CMA-ES[17] 알고리즘을 사용했습니다. 특히, 모든 초기 파라미터 값을 0.5로, 시그마를 1/6로, 모집단 크기를 \(4+\lfloor 3\ln(n_{\text{params}})\rfloor\)로 설정했으며, 여기서 \(n_{\text{params}}\)는 최적화할 파라미터의 수입니다. 적합도 값은 1069개의 모든 훈련 샘플에 대한 정확도로 정의됩니다. 이 집합은 MGSM의 테스트 세트와는 별개라는 점에 유의하세요. 최적화는 1000번의 시도에 걸쳐 수행되었으며, 훈련 정확도와 관련하여 최고의 시도가 최종 모델로 선택되었습니다. 예비 실험을 통해 DARE [50]와 함께 TIES-Merging [49]을 사용하기로 결정하고 그 매개변수를 최적화했습니다.