**Heterogeneous LLM Ensemble.** Wan et al. (2024) conducts a supervised LLM fusion framework to distill multiple heterogeneous LLMs into a single model and surpasses each of these LLMs. Jiang et al. (2023) introduces a supervised ensembling framework based on multiple heterogeneous LLMs. Chen et al. (2023) proposes a sequential inference method for LLMs that halts when the output quality is deemed adequate. Wang et al. (2023) addresses the fusion-of-experts problem by integrating outputs from models with distinct knowledge domains through supervised learning. Shnitzer et al. (2023) and Lu et al. (2023) select the most suitable LLM for new tasks by training a reward-guided router. These approaches primarily employ supervised learning, necessitating task-specific annotated data, and exhibit limited generalizability. In contrast, our method is unsupervised, without the need for additional training data.
**Heterogeneous LLM Ensemble**. Wan 외(2024)는 여러 이종 LLM을 단일 모델로 증류하여 각 LLM을 능가하는 supervised LLM 융합 프레임워크를 수행합니다. Jiang 외(2023)는 여러 이종 LLM을 기반으로 한 supervised ensembling 프레임워크를 소개합니다. Chen 외(2023)는 출력 품질이 적절하다고 판단될 때 중지하는 LLM을 위한 sequential inference 방법을 제안합니다. Wang 외(2023)는 supervised learning을 통해 서로 다른 지식 영역을 가진 모델의 출력을 통합하여 전문가 융합 문제를 해결합니다. Shnitzer 외(2023)와 Lu 외(2023)는 보상 기반 라우터를 학습시켜 새로운 작업에 가장 적합한 LLM을 선택합니다. 이러한 접근 방식은 주로 supervised learning을 사용하므로 작업별 주석이 달린 데이터가 필요하며 일반화 가능성이 제한적입니다. 반면에 저희 방법은 추가 학습 데이터 없이도 unsupervised learning이 가능합니다.
**이종 LLM 앙상블**. Wan 외(2024)는 여러 이종 LLM을 단일 모델로 증류하여 각 LLM을 능가하는 지도 LLM 융합 프레임워크를 수행합니다. Jiang 외(2023)는 여러 이종 LLM을 기반으로 한 지도 앙상블 프레임워크를 소개합니다. Chen 외(2023)는 출력 품질이 적절하다고 판단될 때 중지하는 LLM을 위한 순차적 추론 방법을 제안합니다. Wang 외(2023)는 지도 학습을 통해 서로 다른 지식 영역을 가진 모델의 출력을 통합하여 전문가 융합 문제를 해결합니다. Shnitzer 외(2023)와 Lu 외(2023)는 보상 기반 라우터를 학습시켜 새로운 작업에 가장 적합한 LLM을 선택합니다. 이러한 접근 방식은 주로 지도 학습을 사용하므로 작업별 주석이 달린 데이터가 필요하며 일반화 가능성이 제한적입니다. 반면에 저희 방법은 추가 학습 데이터 없이도 비지도 학습이 가능합니다.