We stress that in our experiments, we do not distinguish between undesired memorized text (such as phone numbers), innocuous memorized text (common phrases), and text we may want to be memorized (such as a quote by a public figure), and instead treat all instances of the LM generating text that closely matches the training set as problematic. While we qualitatively observed that much of the identified memorized content was relatively innocuous, a more systematic study of the risks associated with the detected memorization was beyond the scope of this work.
우리의 실험에서 우리는 원하지 않는 암기된 텍스트(예: 전화번호), 무해한 암기된 텍스트(일반적인 문구), 그리고 우리가 암기되기를 원하는 텍스트(예: 공인의 인용문) 사이를 구분하지 않고, 대신 훈련 세트와 매우 유사한 텍스트를 생성하는 LM의 모든 사례를 문제로 간주합니다. 우리가 질적으로 관찰한 바에 따르면, 식별된 암기된 콘텐츠의 대부분은 비교적 무해했지만, 감지된 암기와 관련된 위험에 대한 보다 체계적인 연구는 이 작업의 범위를 벗어났습니다.
실험에서는 원치 않는 암기 텍스트(예: 전화번호), 무해한 암기 텍스트(일반적인 문구), 암기하고 싶은 텍스트(예: 유명인의 명언)를 구분하지 않고, 대신 학습 세트와 매우 유사한 텍스트를 생성하는 LM의 모든 인스턴스를 문제가 있는 것으로 간주합니다. 식별된 암기 콘텐츠의 대부분이 비교적 무해한 것으로 정성적으로 관찰되었지만, 감지된 암기와 관련된 위험에 대한 보다 체계적인 연구는 이 작업의 범위를 벗어났습니다.