**Language Modeling.** The language modeling task (LM) is the most commonly used objective to pre-train decoder-only LLMs, _e.g._, GPT3 [55] and PaLM [56]. Given a sequence of tokens \(\mathbf{x}=\{x_{1},\dots,x_{n}\}\), the LM task aims to autoregressively predict the target tokens \(x_{i}\) based on the preceding tokens \(x_{<i}\) in a sequence.
**Language Modeling.** 언어 모델링 작업(LM)은 디코더 전용 LLM(예: GPT3 [55] 및 PaLM [56])을 사전 학습하는 데 가장 일반적으로 사용되는 objective입니다. 토큰 시퀀스 \(\mathbf{x}=\{x_{1},\dots,x_{n}\})이 주어지면, LM 작업은 시퀀스에서 이전 토큰 \(x_{<i}\)를 기반으로 대상 토큰 \(x_{i}\)를 autoregressively 예측하는 것을 목표로 합니다.
**언어 모델링.** 언어 모델링 작업(LM)은 디코더 전용 LLM(예: GPT3 [55] 및 PaLM [56])을 사전 학습하는 데 가장 일반적으로 사용되는 목표입니다. 토큰 시퀀스 \(\mathbf{x}=\{x_{1},\dots,x_{n}\})이 주어지면, LM 작업은 시퀀스에서 이전 토큰 \(x_{<i}\)를 기반으로 대상 토큰 \(x_{i}\)를 자동 회귀적으로 예측하는 것을 목표로 합니다.