Furthermore, we observe that the performance gains are influenced by the difficulty of the task. To explore this correlation, we isolate and analyze three dimensions of task difficulty: the inherent difficulty, the length of reasoning steps, and the prior probability of a correct answer. We find that: 1) the performance gains increase then decrease by rising the inherent difficulty; 2) performance gains increase with the number of steps; and 3) performance increases with the prior probability. Based on these properties, we also develop ways to boost the effectiveness of "More Agents".
또한, 우리는 성능 향상이 작업의 난이도에 의해 영향을 받는다는 것을 관찰합니다. 이 상관관계를 탐구하기 위해 본질적인 난이도, 추론 단계의 길이, 정답의 prior probability라는 세 가지 측면의 작업 난이도를 분리하여 분석합니다. 그 결과 다음과 같은 사실을 발견했습니다: 1) inherent difficulty가 높아짐에 따라 성과 향상이 증가했다가 감소합니다; 2) 단계 수가 많을수록 성과 향상이 증가합니다; 3) prior probability가 높을수록 성과가 증가합니다. 이러한 특성을 바탕으로 'More Agents'의 효율성을 높이는 방법도 개발했습니다.
또한, 우리는 성능 향상이 작업의 난이도에 의해 영향을 받는다는 것을 관찰합니다. 이 상관관계를 탐구하기 위해 본질적인 난이도, 추론 단계의 길이, 정답의 사전 확률이라는 세 가지 측면의 작업 난이도를 분리하여 분석합니다. 그 결과 다음과 같은 사실을 발견했습니다: 1) 내재적 난이도가 높아짐에 따라 성과 향상이 증가했다가 감소합니다; 2) 단계 수가 많을수록 성과 향상이 증가합니다; 3) 사전 확률이 높을수록 성과가 증가합니다. 이러한 특성을 바탕으로 '더 많은 에이전트'의 효율성을 높이는 방법도 개발했습니다.