**Initialization.** For the initialization, we disable sharing embeddings between input and output, primarily to accommodate vocabulary parallelism essential for training with long context. The LM head is initialized from the input embedding.
**Initialization.** 초기화의 경우, 주로 긴 문맥으로 훈련하는 데 필수적인 어휘 병렬 처리를 수용하기 위해 입력과 출력 간의 embedding 공유를 비활성화합니다. LM head는 입력 embedding에서 초기화됩니다.
**초기화.** 초기화의 경우, 주로 긴 문맥으로 훈련하는 데 필수적인 어휘 병렬 처리를 수용하기 위해 입력과 출력 간의 임베딩 공유를 비활성화합니다. LM 헤드는 입력 임베딩에서 초기화됩니다.