Latent Multi-Hop Reasoning PathwayWhile we study one pathway for latent multi-hop reasoning (e.g., we test the use of the second hop by means of entity recall), considering the potential redundancy of inference pathways in LLMs (McGrath et al., 2023), other pathways might exist; the same information might be retrieved in different ways. Also, we don't measure multi-hop reasoning end-to-end and track only the changes that occur in the first and the second hop with respect to a single layer, while the effect of the first hop of reasoning could possibly propagate to other layers. Hence, the effects we see might be a lower bound on the model's ability to perform latent two-hop reasoning.
잠재적 다중 홉 추론 경로: 우리는 잠재적 다중 홉 추론을 위한 하나의 경로(예: 엔티티 회상을 통한 두 번째 홉의 사용을 테스트)를 연구하지만, LLMs에서 추론 경로의 잠재적 중복성을 고려할 때(McGrath et al., 2023), 다른 경로가 존재할 수 있습니다. 동일한 정보가 다른 방식으로 검색될 수 있습니다. 또한, 우리는 다중 홉 추론을 끝까지 측정하지 않고 단일 레이어에 대해 첫 번째 홉과 두 번째 홉에서 발생하는 변화만 추적합니다. 첫 번째 홉의 추론 효과가 다른 레이어로 전파될 수 있습니다. 따라서 우리가 보는 효과는 모델이 잠재적 두 홉 추론을 수행할 수 있는 능력의 하한일 수 있습니다.
잠재적 다중 홉 추론 경로잠재적 다중 홉 추론을 위한 하나의 경로(예: 엔티티 리콜을 통해 두 번째 홉의 사용을 테스트)를 연구하는 동안, LLM에서 추론 경로의 잠재적 중복성(McGrath et al., 2023)을 고려할 때 다른 경로가 존재할 수 있으며, 동일한 정보를 다른 방식으로 검색할 수 있습니다. 또한 다중 홉 추론을 엔드투엔드로 측정하지 않고 단일 레이어에 대해 첫 번째 홉과 두 번째 홉에서 발생하는 변경 사항만 추적하는 반면, 추론의 첫 번째 홉의 효과가 다른 레이어로 전파될 수 있습니다. 따라서 우리가 보는 효과는 모델이 잠재적인 2홉 추론을 수행할 수 있는 능력의 하한선일 수 있습니다.