In the following experiments, we analyze each dimension respectively based on GPT-3.5-Turbo. Note that we use GPT-3.5-Turbo for a case study, it can also be changed to other backbone models. The relative performance gains are measured by the difference between the maximum accuracy our method can achieve (sampling 40 times) and the accuracy of a single LLM query (sample once). Results are averaged over 10 runs.
다음 실험에서는 GPT-3.5-Turbo를 기반으로 각 차원을 각각 분석합니다. 사례 연구를 위해 GPT-3.5-Turbo를 사용한다는 점에 유의하되, 다른 backbone 모델로 변경할 수도 있습니다. 상대적 성능 향상은 우리 방법이 달성할 수 있는 최대 정확도(40회 샘플링)와 단일 LLM query의 정확도(한 번 샘플링) 간의 차이로 측정합니다. 결과는 10회 실행에 걸쳐 평균화됩니다.
다음 실험에서는 GPT-3.5-Turbo를 기반으로 각 차원을 각각 분석합니다. 사례 연구를 위해 GPT-3.5-Turbo를 사용한다는 점에 유의하되, 다른 백본 모델로 변경할 수도 있습니다. 상대적 성능 향상은 우리 방법이 달성할 수 있는 최대 정확도(40회 샘플링)와 단일 LLM 쿼리의 정확도(한 번 샘플링) 간의 차이로 측정합니다. 결과는 10회 실행에 걸쳐 평균화됩니다.