Large Language Models (LLMs) have shown great promise as highly capable AI assistants that excel in complex reasoning tasks requiring expert knowledge across a wide range of fields (e.g., programming and creative writing). However, training large language models requires significant pretraining computation costs on large-scale training data. To reduce the computation costs, scaling law (Kaplan et al., 2020) is proposed to illustrate the power-law relationship between pretraining loss and computational effort, which has providedvaluable insights into model optimization with minimal computational cost. Recently, several findings, such as those exploring the phenomena of emergence (Wei et al., 2022) and the Broken Neural Scaling Laws (Caballero et al., 2023), indicate these laws might not fully capture model capabilities, particularly for downstream tasks. Therefore, it is important to expand and refine our evaluative frameworks.
대규모 언어 모델(LLMs)은 다양한 분야(예: 프로그래밍 및 창의적 글쓰기)에 걸쳐 전문 지식이 필요한 복잡한 추론 작업에서 탁월한 능력을 발휘하는 고도로 유능한 AI 어시스턴트로서 큰 가능성을 보여주었습니다. 그러나 대규모 언어 모델을 훈련하려면 대규모 훈련 데이터에 대한 상당한 pretraining 계산 비용이 필요합니다. 계산 비용을 줄이기 위해 scaling law(Kaplan et al., 2020)를 제안하여 pretraining loss와 계산 노력 사이의 거듭제곱 관계를 설명했으며, 이는 최소한의 계산 비용으로 모델 최적화에 대한 귀중한 인사이트를 제공했습니다. 최근에는 출현 현상(Wei et al., 2022)과 깨진 신경 scaling laws(Caballero et al., 2023)을 탐구하는 등 여러 가지 발견을 통해 이러한 법칙이 특히 downstream 작업의 경우 모델 역량을 완전히 포착하지 못할 수도 있음을 시사하고 있습니다. 따라서 평가 프레임워크를 확장하고 개선하는 것이 중요합니다.
대규모 언어 모델(LLM)은 다양한 분야(예: 프로그래밍 및 창의적 글쓰기)에 걸쳐 전문 지식이 필요한 복잡한 추론 작업에서 탁월한 능력을 발휘하는 고도로 유능한 AI 어시스턴트로서 큰 가능성을 보여주었습니다. 그러나 대규모 언어 모델을 훈련하려면 대규모 훈련 데이터에 대한 상당한 사전 훈련 계산 비용이 필요합니다. 계산 비용을 줄이기 위해 스케일링 법칙(Kaplan et al., 2020)을 제안하여 사전 훈련 손실과 계산 노력 사이의 거듭제곱 관계를 설명했으며, 이는 최소한의 계산 비용으로 모델 최적화에 대한 귀중한 인사이트를 제공했습니다. 최근에는 출현 현상(Wei et al., 2022)과 깨진 신경 스케일링 법칙(Caballero et al., 2023)을 탐구하는 등 여러 가지 발견을 통해 이러한 법칙이 특히 다운스트림 작업의 경우 모델 역량을 완전히 포착하지 못할 수도 있음을 시사하고 있습니다. 따라서 평가 프레임워크를 확장하고 개선하는 것이 중요합니다.