In this work, we apply evolution to not only automate the optimization of model merging recipes in weight space, confined to a single architecture, but also explore applying evolution to optimize the stacking of layers from different models--a more involved approach that has the potential to create entirely novel neural architectures from existing building blocks. Unlike weight merging optimization which confine space of models to be merged together to fine-tuned descendents of the same parent base model, layer stacking optimization has no such constraints. Our work systematically explores the application of evolution applied in both parameter and layer space.
이 연구에서는 진화를 적용하여 단일 아키텍처에 국한된 가중치 공간에서 모델 병합 레시피의 optimization을 자동화할 뿐만 아니라, 기존 빌딩 블록에서 완전히 새로운 신경 아키텍처를 만들 수 있는 잠재력을 가진 보다 복잡한 접근 방식인 서로 다른 모델의 layer stacking optimization에 진화를 적용하는 방법을 탐색합니다. 가중치 병합 optimization은 병합할 모델의 공간을 동일한 부모 기반 모델의 Fine-tuning된 후손으로 제한하는 것과 달리 layer stacking optimization에는 이러한 제약이 없습니다. 이 연구에서는 파라미터와 레이어 공간에 적용되는 진화의 적용을 체계적으로 탐색합니다.
이 연구에서는 진화를 적용하여 단일 아키텍처에 국한된 가중치 공간에서 모델 병합 레시피의 최적화를 자동화할 뿐만 아니라, 기존 빌딩 블록에서 완전히 새로운 신경 아키텍처를 만들 수 있는 잠재력을 가진 보다 복잡한 접근 방식인 서로 다른 모델의 레이어 스태킹 최적화에 진화를 적용하는 방법을 탐색합니다. 가중치 병합 최적화는 병합할 모델의 공간을 동일한 부모 기반 모델의 미세 조정된 후손으로 제한하는 것과 달리 레이어 스태킹 최적화에는 이러한 제약이 없습니다. 이 연구에서는 파라미터와 레이어 공간에 적용되는 진화의 적용을 체계적으로 탐색합니다.