It is noteworthy that the relative performance gain is more substantial with increasing task difficulty. Specifically, we observe that within the same task, the smaller model, Llama2-13B, gains ranging from \(28\%\)-\(200\%\), but only \(8\%\)-\(16\%\) over GPT-3.5-Turbo. Moreover, the more challenging task MATH yields gains of \(34\%\)-\(200\%\), in contrast to only \(16\%\)-\(69\%\) on the easier task GSM8K.
주목할 만한 점은 과제의 난이도가 증가할수록 상대적인 성능 향상이 더 크다는 것입니다. 구체적으로, 동일한 과제 내에서 더 작은 모델인 Llama2-13B는 \(28\%\)-\(200\%\)의 성능 향상을 보이지만, GPT-3.5-Turbo에 비해서는 단지 \(8\%\)-\(16\%\)의 향상만을 보입니다. 더욱이, 더 어려운 과제인 MATH에서는 \(34\%\)-\(200\%\)의 성능 향상을 보이는 반면, 더 쉬운 과제인 GSM8K에서는 단지 \(16\%\)-\(69\%\)의 향상만을 보입니다.
관심 있는 점은 작업 난이도가 높아질수록 상대적 성능 향상이 더 큰 점입니다. 구체적으로, 동일한 작업 내에서 더 작은 모델인 Llama2-13B는 \(28\%\)-\(200\%\)의 성능 향상을 얻지만, GPT-3.5-Turbo에 비해 \(8\%\)-\(16\%\)만 향상되는 것을 관찰할 수 있습니다. 또한, 더 어려운 과제인 MATH는 더 쉬운 과제인 GSM8K에서 \(16\%\)-\(69\%\)만 얻은 것과는 대조적으로 \(34\%\)-\(200\%\)의 이득을 얻습니다.