Contamination of downstream tasks.When models are trained on datasets constructed by crawling the Internet, it is possible the model will train on the test set of downstream target tasks. For example, Radford et al. (2019, SS4) performed a post-hoc analysis to identify 8-gram overlaps between GPT-2's training set and datasets used for evaluation, and Dodge et al. (2021) analyzed C4 and found that up to 14.4% of test examples for various standard tasks were found verbatim (normalizing for capitalization and punctuation) in the dataset. A more proactive approach removes contaminated data. Trinh and Le (2018, Appendix B) removed documents from their CommonCrawl-based train set that overlapped substantially with the common-sense reasoning used for evaluation. And GPT-3 (Brown et al., 2020, SS5) did the reverse and removed downstream evaluation examples from their training data by conservatively filtering out any train set examples with a 13-gram overlap with any evaluation example. Up to \(90\%\) of tasks were flagged as potentially contaminated.
다운스트림 작업의 오염. 모델이 인터넷을 크롤링하여 구성된 데이터 세트에 대해 학습할 때, 다운스트림 대상 작업의 테스트 세트에 대해 학습할 수 있습니다. 예를 들어, Radford et al. (2019, SS4)은 GPT-2의 학습 세트와 평가에 사용된 데이터 세트 간의 8-gram 중복을 식별하기 위해 사후 분석을 수행했으며, Dodge et al. (2021)은 C4를 분석한 결과 다양한 표준 작업의 테스트 예제 중 최대 14.4%가 데이터 세트에서 (대문자 및 구두점을 정규화하여) 축어적으로 발견되었음을 발견했습니다. 보다 사전 예방적인 접근 방식은 오염된 데이터를 제거합니다. Trinh과 Le(2018, 부록 B)는 평가에 사용된 상식 추론과 상당 부분 겹치는 문서를 CommonCrawl 기반 학습 세트에서 제거했습니다. 그리고 GPT-3(Brown et al., 2020, SS5)는 그 반대의 방식으로 평가 예제와 13-gram이 겹치는 학습 예제를 보수적으로 필터링하여 학습 데이터에서 다운스트림 평가 예제를 제거했습니다. 최대 90%의 작업이 잠재적으로 오염되었음으로 표시되었습니다.
다운스트림 작업의 오염.모델이 인터넷을 크롤링하여 구성된 데이터 세트에 대해 학습할 때, 다운스트림 대상 작업의 테스트 세트에 대해 학습할 수 있습니다. 예를 들어, Radford et al. (2019, SS4)은 GPT-2의 학습 세트와 평가에 사용된 데이터 세트 간의 8그램 중복을 식별하기 위해 사후 분석을 수행했으며, Dodge et al. (2021)은 C4를 분석한 결과 다양한 표준 작업의 테스트 예제 중 최대 14.4%가 데이터 세트에서 (대문자 및 구두점을 정규화하여) 축어적으로 발견되었음을 발견했습니다. 보다 사전 예방적인 접근 방식은 오염된 데이터를 제거합니다. Trinh과 Le(2018, 부록 B)는 평가에 사용된 상식 추론과 상당 부분 겹치는 문서를 CommonCrawl 기반 학습 세트에서 제거했습니다. 그리고 GPT-3(Brown et al., 2020, SS5)는 그 반대의 방식으로 평가 예제와 13그램이 겹치는 학습 예제를 보수적으로 필터링하여 학습 데이터에서 다운스트림 평가 예제를 제거했습니다. 최대 \(90\%\)의 작업이 잠재적으로 오염되었음으로 표시되었습니다.