Dataset SelectionSelecting high quality data for pre-training LLMs remains an active, high-impact, yet understudied area of research. For instance, GPT-2 model was pre-trained on all outbound links from Reddit, a social media platform, which received at least 3 karma (Brown et al., 2020). This was used as a heuristic indicator that the document may be _interesting_, _educational_, or _just funny_. Follow-up works have used other heuristics such as prioritizing documents that resemble wikipedia (Gururangan et al., 2022). Rae et al. (2021) used multiple heuristic filters to remove documents, such as the absence of certain stopwords, length of the document, percentage of alphabetic characters, mean word length, symbol-to-word ratio, percentage of lines starting with a bullet point, or ending with an ellipsis etc. Their work highlights the intricacies of filtering out text data. An alternative paradigm for building better datasets for training is to distill high-quality datasets. Xie et al. (2023) proposed a method, DoReMi, to select the best data mixture for pre-training language models by reweighting data from various domains. Concurrently, Abbas et al. (2023) showed that de-duplicating pre-training data can improve pre-training efficiency. Recently several methods were proposed for automatic filtering of low-quality data for faster fine-tuning of LLMs (Chen et al., 2023; Solaiman and Dennison, 2021; Zhou et al., 2023). Simultaneously, in the realm of image-language models such as CLIP (Radford et al., 2021), the Datacomp benchmark (Gadre et al., 2023) and recent entries (Maini et al., 2023; Yu et al., 2023) have developed approaches at filtering out low-quality subsets from pre-training datasets like LIAION (Schuhmann et al., 2022), or from scrapes of the common crawl.
데이터 세트 선택사전 학습 LLM을 위한 고품질 데이터를 선택하는 것은 활발하고 영향력이 크지만 아직 연구가 부족한 분야입니다. 예를 들어, GPT-2 모델은 소셜 미디어 플랫폼인 Reddit에서 카르마(Brown et al., 2020)를 3개 이상 받은 모든 아웃바운드 링크를 대상으로 사전 학습을 진행했습니다. 이는 문서가 _흥미롭거나_, _교육적이거나_, _그냥 재미있거나_ 하는 지표로 사용되었습니다. 후속 연구에서는 위키피디아와 유사한 문서의 우선순위를 정하는 등의 다른 heuristic을 사용했습니다(Gururangan et al., 2022). Rae et al. (2021)은 특정 stopword의 부재, 문서 길이, 알파벳 문자 비율, 평균 단어 길이, 기호 대 단어 비율, 글머리 기호로 시작하거나 줄임표로 끝나는 줄의 비율 등과 같은 여러 heuristic filter를 사용하여 문서를 제거했습니다. 이 연구는 텍스트 데이터를 필터링하는 데 있어 복잡성을 강조합니다. 학습을 위한 더 나은 데이터 세트를 구축하기 위한 대안 패러다임은 고품질 데이터 세트를 추출하는 것입니다. Xie et al. (2023)은 다양한 도메인의 데이터에 가중치를 부여하여 언어 모델을 사전 학습하는 데 가장 적합한 데이터 혼합물을 선택하는 방법인 DoReMi를 제안했습니다. 동시에 Abbas et al. (2023)은 사전 학습 데이터의 중복을 제거하면 사전 학습 효율성을 향상시킬 수 있음을 보여주었습니다. 최근에는 LLM의 더 빠른 Fine-tuning을 위해 저품질 데이터를 자동으로 필터링하는 방법이 여러 가지 제안되었습니다(Chen et al., 2023; Solaiman and Dennison, 2021; Zhou et al., 2023). 동시에 CLIP(Radford et al., 2021)과 같은 이미지 언어 모델 영역에서 Datacomp 벤치마크(Gadre et al., 2023)와 최근의 진입자(Maini et al., 2023; Yu et al., 2023)는 사전 학습 데이터 세트에서 저품질 하위 집합을 필터링하거나 일반 크롤링에서 스크랩하는 접근 방식을 개발했습니다(Schuhmann et al., 2022).
데이터 세트 선택사전 학습 LLM을 위한 고품질 데이터를 선택하는 것은 활발하고 영향력이 크지만 아직 연구가 부족한 분야입니다. 예를 들어, GPT-2 모델은 소셜 미디어 플랫폼인 Reddit에서 카르마(Brown et al., 2020)를 3개 이상 받은 모든 아웃바운드 링크를 대상으로 사전 학습을 진행했습니다. 이는 문서가 _흥미롭거나_, _교육적이거나_, _그냥 재미있거나_ 하는 지표로 사용되었습니다. 후속 연구에서는 위키피디아와 유사한 문서의 우선순위를 정하는 등의 다른 휴리스틱을 사용했습니다(Gururangan et al., 2022). Rae et al. (2021)은 특정 중지어의 부재, 문서 길이, 알파벳 문자 비율, 평균 단어 길이, 기호 대 단어 비율, 글머리 기호로 시작하거나 줄임표로 끝나는 줄의 비율 등과 같은 여러 휴리스틱 필터를 사용하여 문서를 제거했습니다. 이 연구는 텍스트 데이터를 필터링하는 데 있어 복잡성을 강조합니다. 학습을 위한 더 나은 데이터 세트를 구축하기 위한 대안 패러다임은 고품질 데이터 세트를 추출하는 것입니다. Xie et al. (2023)은 다양한 도메인의 데이터에 가중치를 부여하여 언어 모델을 사전 학습하는 데 가장 적합한 데이터 혼합물을 선택하는 방법인 DoReMi를 제안했습니다. 동시에 Abbas et al. (2023)은 사전 학습 데이터의 중복을 제거하면 사전 학습 효율성을 향상시킬 수 있음을 보여주었습니다. 최근에는 LLM의 더 빠른 미세 조정을 위해 저품질 데이터를 자동으로 필터링하는 방법이 여러 가지 제안되었습니다(Chen et al., 2023; Solaiman and Dennison, 2021; Zhou et al., 2023). 동시에 CLIP(Radford et al., 2021)과 같은 이미지 언어 모델 영역에서 Datacomp 벤치마크(Gadre et al., 2023)와 최근의 진입자(Maini et al., 2023; Yu et al., 2023)는 사전 학습 데이터 세트에서 저품질 하위 집합을 필터링하거나 일반 크롤링에서 스크랩하는 접근 방식을 개발했습니다(Schuhmann et al., 2022).