In our research, we do not focus on the impact of duplicate text in pretrained models on downstream benchmark tasks; instead we address how duplicate text in the LM training and validation sets impacts model perplexity and the extent to which generated text included memorized content.
우리의 연구에서는 사전 학습된 모델에서 중복 텍스트가 다운스트림 벤치마크 작업에 미치는 영향에 초점을 맞추지 않습니다. 대신, LM 훈련 및 검증 세트에서 중복 텍스트가 모델의 퍼플렉시티에 미치는 영향과 생성된 텍스트에 암기된 내용이 포함되는 정도를 다룹니다.
우리 연구에서는 사전 학습된 모델의 중복 텍스트가 다운스트림 벤치마크 작업에 미치는 영향에 초점을 맞추지 않고, 대신 LM 학습 및 검증 집합의 중복 텍스트가 모델 당혹감에 미치는 영향과 생성된 텍스트에 기억된 콘텐츠가 포함된 정도를 다룬다.