Privacy is an important subject for future work, as memorized training data has significant privacy consequences. By this, we mean the standard privacy definition that a model should not reveal anything particular to the specific dataset it was trained on, as opposed to another training dataset from a similar distribution (Shokri et al., 2017).4 Training on standard datasets that have not yet been deduplicated results in models that are particularly sensitive to examples that happened to be repeated multiple times, and this has negative privacy implications. For instance, it could violate a person's expectations of privacy if their publicly available personal data appeared in a different, surprising context. Downstream applications of LMs, such as the game AI Dungeon5, should also not output memorized content like adverts for real products.
프라이버시는 암기된 훈련 데이터가 중요한 프라이버시 문제를 야기하기 때문에 향후 연구에서 중요한 주제입니다. 여기서 우리는 모델이 유사한 분포의 다른 훈련 데이터셋과는 달리, 훈련된 특정 데이터셋에 대한 어떠한 특정 정보도 드러내지 않아야 한다는 표준 프라이버시 정의를 의미합니다 (Shokri et al., 2017). 중복 제거되지 않은 표준 데이터셋으로 훈련할 경우, 모델은 여러 번 반복된 예제에 특히 민감해지며, 이는 부정적인 프라이버시 영향을 미칩니다. 예를 들어, 공개적으로 이용 가능한 개인 데이터가 다른 놀라운 맥락에서 나타난다면, 이는 개인의 프라이버시 기대를 위반할 수 있습니다. 게임 AI Dungeon과 같은 LMs의 다운스트림 애플리케이션도 실제 제품 광고와 같은 암기된 콘텐츠를 출력해서는 안 됩니다.
암기된 학습 데이터는 개인정보 보호에 상당한 영향을 미치기 때문에 개인정보 보호는 향후 작업의 중요한 주제입니다. 여기서 말하는 표준 개인정보 보호 정의는 모델이 유사한 분포의 다른 학습 데이터 세트와 달리 학습된 특정 데이터 세트에 대해 특별히 공개해서는 안 된다는 의미입니다(Shokri et al., 2017).4 아직 중복이 제거되지 않은 표준 데이터 세트에 대한 학습은 특히 여러 번 반복된 예제에 민감한 모델을 생성하며, 이는 개인정보 보호에 부정적인 영향을 미칩니다. 예를 들어, 공개적으로 사용 가능한 개인 데이터가 예상치 못한 다른 맥락에서 나타날 경우 개인의 개인정보 보호에 대한 기대치를 위반할 수 있습니다. 게임 AI 던전5와 같은 LM의 다운스트림 애플리케이션도 실제 제품에 대한 광고와 같은 기억된 콘텐츠를 출력해서는 안 됩니다.