Moreover, while we see a clear scaling trend with the first hop of the latent multi-hop reasoning pathway with increasing model size, we do not see such scaling evidence for the second-hop reasoning pathway. This could be the reason behind the observation of Ofir Press et al. (2023) that the compositionality gap (the ratio of how often models can correctly answer all sub-problems but not generate the overall solution) does not decrease with increasing model size.
또한 모델 크기가 커짐에 따라 잠재적 다중 홉 추론 경로의 첫 번째 홉에서 명확한 scaling 추세를 볼 수 있지만, 두 번째 홉 추론 경로에서는 이러한 scaling 증거를 볼 수 없습니다. 이것이 모델 크기가 커짐에 따라 compositionality gap(모델이 모든 하위 문제를 올바르게 답할 수 있지만 전체 솔루션을 생성하지 못하는 빈도의 비율)이 감소하지 않는다는 Ofir Press 등(2023)의 관찰의 이유일 수 있습니다.
또한 모델 크기가 커짐에 따라 잠재적 다중 홉 추론 경로의 첫 번째 홉에서 명확한 확장 추세를 볼 수 있지만, 두 번째 홉 추론 경로에서는 이러한 확장 증거를 볼 수 없습니다. 이것이 모델 크기가 커짐에 따라 구성성 갭(모델이 모든 하위 문제를 올바르게 답할 수 있지만 전체 솔루션을 생성하지 못하는 빈도의 비율)이 감소하지 않는다는 Ofir Press 등(2023)의 관찰의 이유일 수 있습니다.