Existing models also suffer from the problem of generating text from their train sets. We find that \(1.38\%\) of the tokens in the official release of 25k GROVER-Mega outputs 3 are part of verbatim matches in RealNews of at least length \(50\). Likewise, more than 5% of the tokens in \(\mathtt{\sim}\)200k sequences outputted by GPT-Neo 1.3B (Black et al., 2021) are part of a \(50\) token matches of its training data, the Pile (Gao et al., 2020).
기존 모델은 train 세트에서 텍스트를 생성하는 문제도 겪고 있습니다. 25k GROVER-Mega 출력 3의 공식 릴리스에서 토큰의 \(1.38\%\)가 최소 길이 \(50\) 이상의 RealNews에서 단어 그대로 일치하는 부분에 속한다는 것을 발견했습니다. 마찬가지로, GPT-Neo 1.3B(Black et al., 2021)에서 출력된 약 20만 개의 시퀀스 토큰 중 5% 이상이 Pile(Gao et al., 2020)의 training 데이터인 50개 토큰 일치의 일부입니다.
기존 모델은 트레인 세트에서 텍스트를 생성하는 문제도 겪고 있습니다. 25k GROVER-Mega 출력 3의 공식 릴리스에서 토큰의 \(1.38\%\)가 최소 길이 \(50\) 이상의 RealNews에서 단어 그대로 일치하는 부분에 속한다는 것을 발견했습니다. 마찬가지로, GPT-Neo 1.3B(Black et al., 2021)에서 출력된 약 20만 개의 시퀀스 토큰 중 5% 이상이 Pile(Gao et al., 2020)의 트레이닝 데이터인 50개 토큰 일치의 일부입니다.