Data SelectionData selection for fine-tuning has been extensively studied, focusing on improving quality (Li et al., 2023), diversity (Liu et al., 2024), and distribution matching (Li et al., 2023; Xia et al., 2024; Ni et al., 2024). For pretraining, various lightweight filters are utilized (Albalak et al., 2024), including heuristic-based (_e.g.,_ language and item count filtering), classifier-based (Brown et al., 2020), and perplexity-based approaches (Wenzek et al., 2019). The massive public RedPajama-Data-v2 dataset (Computer, 2023), for example, leverages over 40 quality indicators for data filtering and reweighting. Nevertheless, strict filtering like blocklist (Raffel et al., 2020) and Safety API filtering (Welbl et al., 2021), have been found to hurt evaluation loss or induce bias (Dodge et al., 2021). To our knowledge, we are the first to explore token-level data selection, aimed at enhancing data quality and information density at the most fundamental granularity.
데이터 선택Fine-tuning을 위한 데이터 선택은 품질(Li et al., 2023), 다양성(Liu et al., 2024), 분포 매칭(Li et al., 2023; Xia et al., 2024; Ni et al., 2024) 개선에 초점을 맞춰 광범위하게 연구되어 왔습니다. 사전 학습의 경우 휴리스틱 기반(_예:_ 언어 및 항목 수 필터링), 분류기 기반(Brown et al., 2020), Perplexity 기반 접근 방식(Wenzek et al., 2019) 등 다양한 경량 필터가 활용됩니다(Albalak et al., 2024). 예를 들어, 대규모 공개 데이터 세트인 RedPajama-Data-v2(Computer, 2023)는 데이터 필터링 및 재가중치를 위해 40개 이상의 품질 지표를 활용합니다. 그럼에도 불구하고 블록리스트(Raffel et al., 2020) 및 Safety API 필터링(Welbl et al., 2021)과 같은 엄격한 필터링은 평가 Loss에 영향을 미치거나 편향을 유발하는 것으로 밝혀졌습니다(Dodge et al., 2021). 우리가 아는 한, 우리는 가장 기본적인 세부 수준에서 데이터 품질과 정보 밀도를 향상시키는 것을 목표로 토큰 수준 데이터 선택을 탐구한 최초의 연구입니다.
데이터 선택미세 조정을 위한 데이터 선택은 품질(Li et al., 2023), 다양성(Liu et al., 2024), 분포 매칭(Li et al., 2023; Xia et al., 2024; Ni et al., 2024) 개선에 초점을 맞춰 광범위하게 연구되어 왔습니다. 사전 학습의 경우 휴리스틱 기반(_예:_ 언어 및 항목 수 필터링), 분류기 기반(Brown et al., 2020), 당혹도 기반 접근 방식(Wenzek et al., 2019) 등 다양한 경량 필터가 활용됩니다(Albalak et al., 2024). 예를 들어, 대규모 공개 데이터 세트인 RedPajama-Data-v2(Computer, 2023)는 데이터 필터링 및 재가중치를 위해 40개 이상의 품질 지표를 활용합니다. 그럼에도 불구하고 블록리스트(Raffel et al., 2020) 및 안전 API 필터링(Welbl et al., 2021)과 같은 엄격한 필터링은 평가 손실에 영향을 미치거나 편향을 유발하는 것으로 밝혀졌습니다(Dodge et al., 2021). 우리가 아는 한, 우리는 가장 기본적인 세부 수준에서 데이터 품질과 정보 밀도를 향상시키는 것을 목표로 토큰 수준 데이터 선택을 탐구한 최초의 연구입니다.