Many works study the training dynamics of LMs from different perspectives. Carlini et al. (2022) quantifies memorization across model sizes and the frequency of data duplication. Tirumala et al. (2022) finds that larger LMs memorize training data faster with less overfitting. Xia et al. (2023) show that perplexity is more predictive of model behaviors than other factors. Dery et al. (2022) studies end-task aware pre-training using classification tasks and RoBERTa models. Our work differs in that we specifically focus on the capacity of recalling and generalizing information from a seen document to answer questions.
많은 연구에서 다양한 관점에서 LMs의 학습 역학을 연구합니다. Carlini et al. (2022)은 모델 크기와 데이터 중복 빈도에 따른 암기 능력을 정량화합니다. Tirumala et al. (2022)은 더 큰 LMs이 덜 튀어나들면서 더 빠르게 학습 데이터를 암기한다는 것을 발견했습니다. Xia et al. (2023)은 perplexity가 다른 요인보다 모델 동작을 더 잘 예측한다는 것을 보여줍니다. Dery et al. (2022)은 분류 작업과 RoBERTa 모델을 사용하여 최종 작업 인식 사전 학습을 연구합니다. 우리 연구는 본인이 본 문서에서 정보를 기억하고 일반화하여 질문에 답하는 능력에 특별히 초점을 맞추고 있다는 점에서 차별화됩니다.
많은 연구에서 다양한 관점에서 LM의 학습 역학을 연구합니다. Carlini et al. (2022)은 모델 크기와 데이터 중복 빈도에 따른 암기 능력을 정량화합니다. Tirumala et al. (2022)은 더 큰 LM이 덜 튀어나들면서 더 빠르게 학습 데이터를 암기한다는 것을 발견했습니다. Xia et al. (2023)은 당혹감이 다른 요인보다 모델 동작을 더 잘 예측한다는 것을 보여줍니다. Dery et al. (2022)은 분류 작업과 RoBERTa 모델을 사용하여 최종 작업 인식 사전 학습을 연구합니다. 우리 연구는 본인이 본 문서에서 정보를 기억하고 일반화하여 질문에 답하는 능력에 특별히 초점을 맞추고 있다는 점에서 차별화됩니다.