Next we test our method on a realistic setup where we pre-train language models, and evaluate their ability on "forward" and "reverse" facts about real-world knowledge. As LLMs acquire the majority of their world knowledge during their pre-training stage, it makes sense to evaluate our reverse training in this pre-training setup. To make the experiments tractable, we train a Llama-2 1.4 billion parameter model (Touvron et al., 2023b).
다음으로 우리는 언어 모델을 사전 훈련하고, 실제 세계 지식에 대한 "정방향" 및 "역방향" 사실에 대한 능력을 평가하는 현실적인 설정에서 우리의 방법을 테스트합니다. LLM은 사전 훈련 단계에서 대부분의 세계 지식을 습득하므로, 이 사전 훈련 설정에서 우리의 역방향 훈련을 평가하는 것이 합리적입니다. 실험을 다루기 쉽게 만들기 위해, 우리는 Llama-2 1.4 billion 파라미터 모델(Touvron et al., 2023b)을 훈련합니다.
다음으로 언어 모델을 사전 학습하고 실제 지식에 대한 '전달' 및 '역방향' 사실에 대한 능력을 평가하는 현실적인 설정에서 방법을 테스트합니다. LLM은 사전 학습 단계에서 대부분의 세계 지식을 습득하기 때문에 이 사전 학습 설정에서 역방향 학습을 평가하는 것이 합리적입니다. 실험을 수행하기 위해 14억 개의 파라미터를 가진 Llama-2 모델(Touvron et al., 2023b)을 훈련합니다.