**Learning New Information** In Figure 3, we can see an interesting phenomenon observed throughout our experiments. After each epoch, i.e., completing another iteration over the entire dataset, the training loss drops significantly. This is consistent with what is known about LLMs memorizing the data during training and overfitting Tirumala et al. (2022).
**새로운 정보 학습** 그림 3에서 우리는 실험 전반에서 관찰된 흥미로운 현상을 볼 수 있습니다. 각 epoch, 즉 전체 데이터 세트에 대한 또 다른 반복을 완료한 후 training loss가 크게 감소합니다. 이는 훈련 중에 데이터를 암기하고 과적합하는 LLM에 대해 알려진 것과 일치합니다 Tirumala et al. (2022).
**새로운 정보 학습** 그림 3에서 우리는 실험 전반에서 관찰된 흥미로운 현상을 볼 수 있습니다. 각 에포크, 즉 전체 데이터 세트에 대한 또 다른 반복을 완료한 후 훈련 손실이 크게 감소합니다. 이는 훈련 중에 데이터를 암기하고 과적합하는 LLM에 대해 알려진 것과 일치합니다 Tirumala et al. (2022).