In heterogeneous combination experiment, GPT-3.5-Turbo is used for generating the intermediate answer with \(K=8\), and GPT-4 is then employed to solve for the final answer with \(K=32\). In Figure 7 (right), compared with the result of GPT-4 with \(K=32\), the hierarchical method improves performance from \(35\%\) to \(47\%\), suggesting the deployment of different LLMs at the corresponding level of problem-solving can improve the performance in a cost-effective manner.
이질적인 조합 실험에서, GPT-3.5-Turbo는 \(K=8\)로 중간 답변을 생성하는 데 사용되며, GPT-4는 \(K=32\)로 최종 답변을 해결하는 데 사용됩니다. Figure 7 (오른쪽)에서, \(K=32\)로 GPT-4의 결과와 비교했을 때, 계층적 방법은 성능을 \(35\%\)에서 \(47\%\)로 향상시킵니다. 이는 문제 해결의 해당 단계에서 다른 LLM을 배치하는 것이 비용 효율적인 방식으로 성능을 향상시킬 수 있음을 시사합니다.
이종 조합 실험에서는 중간 답을 생성하기 위해 GPT-3.5-Turbo를 사용하고 \(K=8\)로 최종 답을 구하는 데 GPT-4를 사용합니다. 그림 7(오른쪽)에서 \(K=32\)인 GPT-4의 결과와 비교했을 때, 계층적 방법은 성능을 \(35\%에서 \(47\%로 개선하여 문제 해결의 해당 수준에서 서로 다른 LLM을 배포하면 비용 효율적인 방식으로 성능을 개선할 수 있음을 시사합니다.