We next explore if our reverse training can be applied to the finetuning stage when the model is learning new, previously unseen knowledge from a small training dataset. We use the same pre-trained models described in Section 3.3 and an additional LLama-2 7B model, and further finetune them on a dataset made up of fictitious facts. These data are made up of statements of the form "[name] is [description]" (or the reverse) where the names and descriptions are randomly generated. The fictitious nature of this dataset guarantees that those facts are not seen during pre-training, and are only seen in the specified direction during finetuning. The model is then tested to see if it is able to learn these facts in the same or reverse direction that it has seen during training.
다음으로, 모델이 작은 훈련 데이터 세트에서 이전에 보지 못했던 새로운 지식을 학습할 때 Fine-tuning 단계에 역 훈련을 적용할 수 있는지 살펴봅니다. 섹션 3.3에서 설명한 것과 동일한 사전 학습된 모델과 추가로 LLama-2 7B 모델을 사용하여 가상의 사실로 구성된 데이터 세트에 대해 추가로 Fine-tuning합니다. 이 데이터는 "[이름]은 [설명]" 또는 그 반대 형식의 문장으로 구성되며, 이름과 설명은 무작위로 생성됩니다. 이 데이터 세트의 가상적 특성은 사전 학습 중에 해당 사실을 볼 수 없으며, Fine-tuning 중에 지정된 방향으로만 볼 수 있음을 보장합니다. 그런 다음 모델이 학습 중에 본 것과 같은 방향 또는 반대 방향으로 이러한 사실을 학습할 수 있는지 테스트합니다.
다음으로, 모델이 작은 훈련 데이터 세트에서 이전에 보지 못했던 새로운 지식을 학습할 때 미세 조정 단계에 역 훈련을 적용할 수 있는지 살펴봅니다. 섹션 3.3에서 설명한 것과 동일한 사전 학습된 모델과 추가로 LLama-2 7B 모델을 사용하여 가상의 사실로 구성된 데이터 세트에 대해 추가로 미세 조정합니다. 이 데이터는 "[이름]은 [설명]" 또는 그 반대 형식의 문장으로 구성되며, 이름과 설명은 무작위로 생성됩니다. 이 데이터 세트의 가상적 특성은 사전 학습 중에 해당 사실을 볼 수 없으며, 미세 조정 중에 지정된 방향으로만 볼 수 있음을 보장합니다. 그런 다음 모델이 학습 중에 본 것과 같은 방향 또는 반대 방향으로 이러한 사실을 학습할 수 있는지 테스트합니다.