While the above aggregate statistics do not suggest a very prevalent use of the latent multi-hop reasoning pathway, it is worth pointing out that up to 23% of the fact composition types demonstrate strong evidence of latent multi-hop reasoning, occurring in more than 80% of the cases. This suggests that the pathway _exists_ but is highly contextual. Additionally, we focus on a very narrow interpretation of the pathway - in reality, we expect it to be more distributed across layers and tokens. Hence, the effects we see might be a lower bound on the model's ability to perform latent two-hop reasoning. We also find striking scaling behavior: while the first hop clearly improves substantially with parameter count, the second hop (and the round-trip performance) remains relatively constant. This might indicate a fundamental limitation in today's architecture or pretraining.
위의 집계 통계에 따르면 잠재적 다중 홉 추론 경로가 매우 널리 사용되지는 않는 것으로 보이지만, 사실 구성 유형의 최대 23%가 80% 이상의 사례에서 발생하는 잠재적 다중 홉 추론의 강력한 증거를 보여주는 점은 주목할 가치가 있습니다. 이는 이 경로가 _존재하지만 상황에 따라 크게 달라진다는 것을 시사합니다. 또한, 우리는 이 경로에 대한 매우 좁은 해석에 초점을 맞추고 있습니다. 실제로는 이 경로가 layer와 token에 더 분산되어 있을 것으로 예상합니다. 따라서 우리가 보는 효과는 모델이 잠재적인 2단계 추론을 수행하는 능력의 하한선일 수 있습니다. 또한 매개변수 수에 따라 첫 번째 홉이 크게 개선되는 반면, 두 번째 홉(및 왕복 성능)은 상대적으로 일정한 놀라운 scaling behavior를 발견했습니다. 이는 오늘날의 architecture 또는 pretraining에 근본적인 한계가 있음을 나타낼 수 있습니다.
위의 집계 통계에 따르면 잠재적 다중 홉 추론 경로가 매우 널리 사용되지는 않는 것으로 보이지만, 사실 구성 유형의 최대 23%가 80% 이상의 사례에서 발생하는 잠재적 다중 홉 추론의 강력한 증거를 보여주는 점은 주목할 가치가 있습니다. 이는 이 경로가 _존재하지만 상황에 따라 크게 달라진다는 것을 시사합니다. 또한, 우리는 이 경로에 대한 매우 좁은 해석에 초점을 맞추고 있습니다. 실제로는 이 경로가 레이어와 토큰에 더 분산되어 있을 것으로 예상합니다. 따라서 우리가 보는 효과는 모델이 잠재적인 2단계 추론을 수행하는 능력의 하한선일 수 있습니다. 또한 매개변수 수에 따라 첫 번째 홉이 크게 개선되는 반면, 두 번째 홉(및 왕복 성능)은 상대적으로 일정한 놀라운 확장 동작을 발견했습니다. 이는 오늘날의 아키텍처 또는 사전 학습에 근본적인 한계가 있음을 나타낼 수 있습니다.