If we continue relying on scaling laws to improve LLMs, we will quickly hit diminishing returns due to the power-law nature of scaling laws. We will therefore need exponentially more data to maintain a consistent marginal improvement, which may prove especially challenging as we are fastapproaching the limits of available human-generated text data [51]. Encouragingly, in the context of vision, Sorscher et al. [47] demonstrated that we could leverage simple data selection strategies to overcome costly power-law scaling. They compare numerous data selection methods and find that clustering data points in a pre-trained embedding space and ranking according to the distance to the cluster centroid ("SSL Prototypes") significantly improves the data efficiency of vision models. Recently, Abbas et al. [1] demonstrated that using a pre-trained embedding space to de-duplicate data ("SemDeDup") improves both efficiency and performance of vision-language models such as CLIP. However, there has been little exploration of these or related approaches in training LLMs at scale. Motivated by this, we argue that by combining these approaches and applying them to LLMs, relatively simple data selection strategies leveraging pre-trained embeddings can significantly improve LLM training.
스케일링 법칙에 계속 의존하여 LLM을 개선한다면, scaling laws의 거듭제곱 특성으로 인해 수익 감소에 빠르게 부딪힐 것입니다. 따라서 일관된 한계 개선을 유지하려면 기하급수적으로 더 많은 데이터가 필요하며, 이는 사용 가능한 인간 생성 텍스트 데이터의 한계에 빠르게 접근하고 있기 때문에 특히 어려울 수 있습니다[51]. 고무적인 점은 시각의 맥락에서 Sorscher 등[47]이 간단한 데이터 선택 전략을 활용하여 비용이 많이 드는 power-law scaling을 극복할 수 있음을 입증했다는 것입니다. 그들은 수많은 데이터 선택 방법을 비교한 결과, 사전 학습된 embedding 공간에서 데이터 포인트를 클러스터링하고 클러스터 중심과의 거리에 따라 순위를 매기는("SSL Prototypes") 방법이 비전 모델의 데이터 효율성을 크게 향상시킨다는 사실을 발견했습니다. 최근 Abbas 등[1]은 사전 학습된 embedding 공간을 사용하여 데이터 중복을 제거함으로써 CLIP와 같은 vision-language 모델의 효율성과 성능을 모두 개선할 수 있음을 입증했습니다. 그러나 이러한 접근 방식이나 이와 관련된 접근 방식을 대규모 LLM 훈련에 적용한 연구는 거의 없습니다. 이에 착안하여, 이러한 접근 방식을 결합하고 이를 LLM에 적용하면 사전 학습된 embeddings을 활용하는 비교적 간단한 데이터 선택 전략이 LLM 학습을 크게 개선할 수 있다고 주장합니다.
스케일링 법칙에 계속 의존하여 LLM을 개선한다면, 스케일링 법칙의 거듭제곱 특성으로 인해 수익 감소에 빠르게 부딪힐 것입니다. 따라서 일관된 한계 개선을 유지하려면 기하급수적으로 더 많은 데이터가 필요하며, 이는 사용 가능한 인간 생성 텍스트 데이터의 한계에 빠르게 접근하고 있기 때문에 특히 어려울 수 있습니다[51]. 고무적인 점은 시각의 맥락에서 소르셰르 등[47]이 간단한 데이터 선택 전략을 활용하여 비용이 많이 드는 거듭제곱 스케일링을 극복할 수 있음을 입증했다는 것입니다. 그들은 수많은 데이터 선택 방법을 비교한 결과, 사전 학습된 임베딩 공간에서 데이터 포인트를 클러스터링하고 클러스터 중심과의 거리에 따라 순위를 매기는("SSL 프로토타입") 방법이 비전 모델의 데이터 효율성을 크게 향상시킨다는 사실을 발견했습니다. 최근 Abbas 등[1]은 사전 학습된 임베딩 공간을 사용하여 데이터 중복을 제거함으로써 CLIP와 같은 비전-언어 모델의 효율성과 성능을 모두 개선할 수 있음을 입증했습니다. 그러나 이러한 접근 방식이나 이와 관련된 접근 방식을 대규모 LLM 훈련에 적용한 연구는 거의 없습니다. 이에 착안하여, 이러한 접근 방식을 결합하고 이를 LLM에 적용하면 사전 학습된 임베딩을 활용하는 비교적 간단한 데이터 선택 전략이 LLM 학습을 크게 개선할 수 있다고 주장합니다.