While there have been works to investigate latent reasoning of LLMs, the exploration has been mostly done with simple single-hop reasoning tasks (Meng et al., 2022; Geva et al., 2023; Chanin et al., 2023; Hernandez et al., 2024) and/or controlled lightweight training/finetuning (Zhu and Li, 2023; Allen-Zhu and Li, 2023; Saparov et al., 2023; Berglund et al., 2024). Also, many of the works that aim to identify latent reasoning pathways or circuits, have focused on finding the most salient reasoning pathway for simple synthetic tasks and/or toy models (Nanda et al., 2022; Olsson et al., 2022; Wang et al., 2023; Conmy et al., 2023; Hou et al., 2023; Lieberum et al., 2023; McGrath et al., 2023). On the other hand, we study the existence of a latent multi-hop reasoning pathway, which may not be the most salient, in pretrained LLMs without further training, using diverse types of natural two-hop prompts.
LLM의 잠재적 추론을 조사하는 연구가 진행되어 왔지만, 이러한 탐구는 대부분 단순한 단일 홉 추론 과제(Meng et al., 2022; Geva et al., 2023; Chanin et al., 2023; Hernandez et al., 2024) 및/또는 제어된 경량 훈련/Fine-tuning(Zhu and Li, 2023; Allen-Zhu and Li, 2023; Saparov et al., 2023; Berglund et al., 2024)을 통해 이루어졌습니다. 또한 잠재적 추론 경로 또는 회로를 식별하는 것을 목표로 하는 많은 연구들이 단순한 합성 작업 및/또는 장난감 모델에 대해 가장 눈에 띄는 추론 경로를 찾는 데 초점을 맞추고 있습니다(Nanda et al., 2022; Olsson et al., 2022; Wang et al., 2023; Conmy et al., 2023; Hou et al., 2023; Lieberum et al., 2023; McGrath et al., 2023). 반면에 우리는 다양한 유형의 자연스러운 2홉 프롬프트를 사용하여 추가 훈련 없이 사전 학습된 LLM에서 가장 눈에 띄지 않을 수 있는 잠재적 다중 홉 추론 경로의 존재를 연구합니다.
LLM의 잠재적 추론을 조사하는 연구가 진행되어 왔지만, 이러한 탐구는 대부분 단순한 단일 홉 추론 과제(Meng et al., 2022; Geva et al., 2023; Chanin et al., 2023; Hernandez et al., 2024) 및/또는 제어된 경량 훈련/미세 조정(Zhu and Li, 2023; Allen-Zhu and Li, 2023; Saparov et al., 2023; Berglund et al., 2024)을 통해 이루어졌습니다. 또한 잠재적 추론 경로 또는 회로를 식별하는 것을 목표로 하는 많은 연구들이 단순한 합성 작업 및/또는 장난감 모델에 대해 가장 눈에 띄는 추론 경로를 찾는 데 초점을 맞추고 있습니다(Nanda et al., 2022; Olsson et al., 2022; Wang et al., 2023; Conmy et al., 2023; Hou et al., 2023; Lieberum et al., 2023; McGrath et al., 2023). 반면에 우리는 다양한 유형의 자연스러운 2홉 프롬프트를 사용하여 추가 훈련 없이 사전 학습된 LLM에서 가장 눈에 띄지 않을 수 있는 잠재적 다중 홉 추론 경로의 존재를 연구합니다.