Allen-Zhu and Li [3] suggested that rewriting pretraining data is crucial for making knowledge extractable rather word-by-word memorization.16 However, they did not explore the impact on the model's capacity. Our paper addresses this gap, indicating that rewriting pretraining data does not compromise -- and may even enhance -- the model's knowledge capacity.
Allen-Zhu와 Li [3]는 pretraining 데이터를 다시 작성하는 것이 단어 단위로 암기하는 것이 아니라 지식을 추출할 수 있도록 하는 데 매우 중요하다고 제안했습니다.16 그러나 그들은 모델의 용량에 미치는 영향을 탐구하지 않았습니다. 이 논문에서는 pretraining 데이터를 다시 작성해도 모델의 지식 용량이 손상되지 않으며 오히려 향상될 수 있음을 보여줍니다.
Allen-Zhu와 Li [3]는 사전 학습 데이터를 다시 작성하는 것이 단어 단위로 암기하는 것이 아니라 지식을 추출할 수 있도록 하는 데 매우 중요하다고 제안했습니다.16 그러나 그들은 모델의 용량에 미치는 영향을 탐구하지 않았습니다. 이 논문에서는 사전 학습 데이터를 다시 작성해도 모델의 지식 용량이 손상되지 않으며 오히려 향상될 수 있음을 보여줍니다.