Memorizing training data.The privacy risks of data memorization, for example the ability to extract sensitive data such as valid phone numbers and IRC usernames, are highlighted by Carlini et al. (2020). While their paper finds 604 samples that GPT-2 emitted from its training set, we show that _over_\(1\%\) of the data most models emit is memorized training data. In computer vision, memorization of training data has been studied from various angles for both discriminative and generative models (e.g. Arpit et al., 2017; Webster et al., 2019; Feldman and Zhang, 2020; Stephenson et al., 2021; Tetewak et al., 2021).
훈련 데이터의 암기. 데이터 암기의 프라이버시 위험, 예를 들어 유효한 전화번호나 IRC 사용자 이름과 같은 민감한 데이터를 추출할 수 있는 능력은 Carlini et al. (2020)에 의해 강조되었습니다. 그들의 논문에서는 GPT-2가 훈련 세트에서 방출한 604개의 샘플을 발견했지만, 우리는 대부분의 모델이 방출하는 데이터의 _1\%_ 이상이 암기된 훈련 데이터임을 보여줍니다. 컴퓨터 비전 분야에서는, 암기된 훈련 데이터가 판별 모델과 생성 모델 모두에서 다양한 각도로 연구되었습니다 (예: Arpit et al., 2017; Webster et al., 2019; Feldman and Zhang, 2020; Stephenson et al., 2021; Tetewak et al., 2021).
훈련 데이터를 암기합니다.유효한 전화번호 및 IRC 사용자 이름과 같은 민감한 데이터를 추출하는 기능과 같은 데이터 암기의 개인정보 보호 위험은 Carlini 등(2020)에 의해 강조되고 있습니다. 이 보고서에서 GPT-2가 학습 세트에서 출력한 604개의 샘플을 발견했지만, 대부분의 모델에서 출력하는 데이터의 \(1\%\) 이상이 암기된 학습 데이터라는 것을 보여 줍니다. 컴퓨터 비전에서는 판별 모델과 생성 모델 모두에 대해 다양한 각도에서 학습 데이터의 암기가 연구되어 왔습니다(예: Arpit et al., 2017; Webster et al., 2019; Feldman and Zhang, 2020; Stephenson et al., 2021; Tetewak et al., 2021).