However, unlike the first-hop reasoning (SS5), the second-hop reasoning does not strengthen with increasing model size; when scaling from 7B to 13Band 70B, the maximum relative frequency remains relatively stable at 0.64 (7B), 0.65 (13B), and 0.61 (70B), as shown in Figure 2(c). It is worth noting that this finding aligns with the observation of Ofir Press et al. (2023), that the single-hop question answering performance improves faster than the multi-hop performance as the model size increases, and thus the _compositionality gap_ (the ratio of how often models can correctly answer all sub-problems but not generate the overall solution) does not decrease with increasing model size.
그러나 1-hop 추론(SS5)과 달리 2-hop 추론은 모델 크기가 커짐에 따라 강화되지 않으며, 그림 2(c)에서 볼 수 있듯이 7B에서 13B, 70B로 확장할 때 최대 상대 빈도는 0.64(7B), 0.65(13B), 0.61(70B)로 비교적 안정적으로 유지됩니다. 이 결과는 모델 크기가 커짐에 따라 single-hop question answering 성능이 multi-hop 성능보다 빠르게 향상되므로 모델 크기가 커짐에 따라 _compositionality gap_(모델이 모든 하위 문제를 올바르게 답할 수 있지만 전체 솔루션을 생성하지 못하는 빈도의 비율)이 감소하지 않는다는 Ofir Press 등의 관찰 결과와 일치한다는 점에 주목할 필요가 있습니다.
그러나 1홉 추론(SS5)과 달리 2홉 추론은 모델 크기가 커짐에 따라 강화되지 않으며, 그림 2(c)에서 볼 수 있듯이 7B에서 13B, 70B로 확장할 때 최대 상대 빈도는 0.64(7B), 0.65(13B), 0.61(70B)로 비교적 안정적으로 유지됩니다. 이 결과는 모델 크기가 커짐에 따라 단일 홉 질문 답변 성능이 다중 홉 성능보다 빠르게 향상되므로 모델 크기가 커짐에 따라 _구성성 격차_(모델이 모든 하위 문제를 올바르게 답할 수 있지만 전체 솔루션을 생성하지 못하는 빈도의 비율)가 감소하지 않는다는 Ofir Press 등의 관찰 결과와 일치한다는 점에 주목할 필요가 있습니다.