Our research explores the extent to which a pre-trained Transformer-based Large Language Model (LLM) can perform similar multi-hop reasoning when completing a two-hop prompt. Given the complex nature of LLMs, which function through high-dimensional and distributed representations, it's unlikely for a single deterministic algorithm to govern their predictions except for under highly controlled and constrained setup [23, 24]. Instead, LLMs may use aggregations from multiple inference pathways [11], ranging from shallow \(n\)-gram co-occurrence-based matching to deeper rule-based reasoning or even multi-hop reasoning, to make a prediction.
우리의 연구는 사전 학습된 Transformer 기반 Large Language Model (LLM)이 2단계 프롬프트를 완료할 때 유사한 다중 홉 추론을 수행할 수 있는 범위를 탐구합니다. 고차원적이고 분산된 표현을 통해 작동하는 LLM의 복잡한 특성을 고려할 때, 단일 결정론적 알고리즘이 예측을 지배하는 것은 매우 제어되고 제약된 설정 [23, 24]을 제외하고는 가능성이 낮습니다. 대신 LLM은 얕은 \(n\)-그램 동시 발생 기반 매칭부터 깊은 규칙 기반 추론 또는 다중 홉 추론에 이르기까지 여러 추론 경로의 집계를 사용하여 예측을 수행할 수 있습니다[11].
우리의 연구는 사전 학습된 트랜스포머 기반 대규모 언어 모델(LLM)이 2단계 프롬프트를 완료할 때 유사한 다중 홉 추론을 수행할 수 있는 범위를 탐구합니다. 고차원적이고 분산된 표현을 통해 작동하는 LLM의 복잡한 특성을 고려할 때, 단일 결정론적 알고리즘이 예측을 지배하는 것은 매우 제어되고 제약된 설정 [23, 24]을 제외하고는 가능성이 낮습니다. 대신 LLM은 얕은 \(n\)-그램 동시 발생 기반 매칭부터 깊은 규칙 기반 추론 또는 다중 홉 추론에 이르기까지 여러 추론 경로의 집계를 사용하여 예측을 수행할 수 있습니다[11].