Unlike the other tasks, where the model has been exposed to aspects related to the topic during pretraining, _current events_ includes new information. In this case, standard regular fine-tuning not only did not improve the performance of Llama2 but also significantly degraded it. To improve the fine-tuning results, we explored augmentation of the data using paraphrases.
모델이 사전 학습 중에 주제와 관련된 측면에 노출되었던 다른 작업과 달리, _시사_에는 새로운 정보가 포함되어 있습니다. 이 경우 표준 정규 Fine-tuning은 Llama2의 성능을 개선하지 못했을 뿐만 아니라 성능을 현저히 저하시켰습니다. Fine-tuning 결과를 개선하기 위해 의역을 사용하여 데이터를 증강하는 방법을 모색했습니다.
모델이 사전 학습 중에 주제와 관련된 측면에 노출되었던 다른 작업과 달리, _시사_에는 새로운 정보가 포함되어 있습니다. 이 경우 표준 정규 미세 조정은 Llama2의 성능을 개선하지 못했을 뿐만 아니라 성능을 현저히 저하시켰습니다. 미세 조정 결과를 개선하기 위해 의역을 사용하여 데이터를 증강하는 방법을 모색했습니다.