embedding layers or a transformer block). We establish merging configuration parameters for sparsification and weight mixing at each layer, including input and output embeddings. These configurations are then optimized using an evolutionary algorithm, such as CMA-ES [17], for selected tasks, guided by critical task-specific metrics (e.g., accuracy for MGSM, ROUGE score for VQA).
임베딩 레이어 또는 Transformer 블록). 입력 및 출력 임베딩을 포함하여 각 레이어에서 희소화 및 가중치 혼합을 위한 병합 구성 매개변수를 설정합니다. 그런 다음 선택된 작업에 대해 중요한 작업별 메트릭(예: MGSM의 정확도, VQA의 ROUGE 점수)을 기반으로 CMA-ES [17]와 같은 진화 알고리즘을 사용하여 이러한 구성을 최적화합니다.
임베딩 레이어 또는 트랜스포머 블록). 입력 및 출력 임베딩을 포함하여 각 레이어에서 희소화 및 가중치 혼합을 위한 병합 구성 매개변수를 설정합니다. 그런 다음 선택된 작업에 대해 중요한 작업별 메트릭(예: MGSM의 정확도, VQA의 ROUGE 점수)을 기반으로 CMA-ES [17]와 같은 진화 알고리즘을 사용하여 이러한 구성을 최적화합니다.