Ultimately, whether memorization is a desired property of a language model, or else risky and unwanted, depends both on the nature of the text that has been memorized and on the downstream applications of the trained model. However, since the trend has been towards creating datasets and models that are application-agnostic, we encourage researchers to think carefully about the limitations of the data they have collected and the how the model's intended usage constrains what should be part of the training set. Developing techniques to memorize or forget specific sequences depending on the end application is a promising research direction.
궁극적으로 암기가 언어 모델에 원하는 속성인지, 아니면 위험하고 원치 않는 속성인지는 암기된 텍스트의 성격과 학습된 모델의 downstream applications에 따라 달라집니다. 그러나 application-agnostic 데이터 세트와 모델을 만드는 추세를 고려할 때, 연구자들은 수집한 데이터의 한계와 모델의 의도된 사용법이 학습 세트의 일부가 되어야 하는 사항을 어떻게 제약하는지 신중하게 고려할 것을 권장합니다. 최종 애플리케이션에 따라 특정 시퀀스를 암기하거나 잊어버리는 기술을 개발하는 것은 유망한 연구 방향입니다.
궁극적으로 암기가 언어 모델에 원하는 속성인지, 아니면 위험하고 원치 않는 속성인지는 암기된 텍스트의 성격과 학습된 모델의 다운스트림 애플리케이션에 따라 달라집니다. 그러나 애플리케이션에 구애받지 않는 데이터 세트와 모델을 만드는 추세를 고려할 때, 연구자들은 수집한 데이터의 한계와 모델의 의도된 사용법이 학습 세트의 일부가 되어야 하는 사항을 어떻게 제약하는지 신중하게 고려할 것을 권장합니다. 최종 애플리케이션에 따라 특정 시퀀스를 암기하거나 잊어버리는 기술을 개발하는 것은 유망한 연구 방향입니다.