Although our analysis is based on LLaMA-2 family of models of up to 70B parameters, our findings suggest potential limitations in the current scaling paradigm for promoting latent multi-hop reasoning. Thus, we may need to study the choice of pretraining data, loss functions that promote knowledge retrieval and utilization, or model architectures with a stronger inductive bias towards internal knowledge representation for LLMs' stronger latent reasoning abilities. However, analyzing the subset of prompts with strong evidence of multi-hop reasoning with respect to pretraining dynamics and data may give insights into the emergence of such abilities even in the context of the current pretraining and scaling paradigm.
분석은 최대 70B 파라미터를 가진 LLaMA-2 모델 제품군을 기반으로 하지만, 이러한 발견은 잠재적 multi-hop reasoning을 촉진하기 위한 현재의 scaling 패러다임에 잠재적인 한계를 시사합니다. 따라서 LLM의 더 강력한 잠재적 추론 능력을 위해 pretraining 데이터 선택, 지식 retrieval 및 활용을 촉진하는 loss functions 또는 내부 지식 표현에 대한 더 강한 inductive bias를 가진 모델 architectures를 연구해야 할 수도 있습니다. 그러나 pretraining dynamics 및 데이터와 관련하여 multi-hop reasoning의 강력한 증거가 있는 프롬프트의 하위 집합을 분석하면 현재의 pretraining 및 scaling 패러다임의 맥락에서도 그러한 능력의 출현에 대한 인사이트를 얻을 수 있습니다.
분석은 최대 700억 개의 파라미터를 가진 LLaMA-2 모델 제품군을 기반으로 하지만, 이러한 발견은 잠재적 다중 홉 추론을 촉진하기 위한 현재의 확장 패러다임에 잠재적인 한계를 시사합니다. 따라서 LLM의 더 강력한 잠재적 추론 능력을 위해 사전 학습 데이터 선택, 지식 검색 및 활용을 촉진하는 손실 함수 또는 내부 지식 표현에 대한 더 강한 귀납적 편향성을 가진 모델 아키텍처를 연구해야 할 수도 있습니다. 그러나 사전 학습 동역학 및 데이터와 관련하여 다중 홉 추론의 강력한 증거가 있는 프롬프트의 하위 집합을 분석하면 현재의 사전 학습 및 확장 패러다임의 맥락에서도 그러한 능력의 출현에 대한 인사이트를 얻을 수 있습니다.