Since most language tasks can be cast as the prediction problem based on the input, these decoder-only LLMs might be potentially advantageous to implicitly learn how to accomplish these tasks in a unified LM way. Some studies have also revealed that decoder-only LLMs can be naturally transferred to certain tasks by autoregressively predicting the next tokens [26, 55], without fine-tuning. An important variant of LM is the _prefix language modeling_ task, which is designed for pre-training models with the prefix decoder architecture. The tokens within a randomly selected prefix would not be used in computing the loss of prefix language modeling. With the same amount of tokens seen during pre-training, prefix language modeling performs slightly worse than language modeling, since fewer tokens in the sequence are involved for model pre-training [29].
대부분의 언어 작업은 입력을 기반으로 예측 문제로 변환할 수 있으므로, 이러한 decoder 전용 LLM은 이러한 작업을 단일 LM 방식으로 수행하는 방법을 암묵적으로 학습하는 데 잠재적으로 유리할 수 있습니다. 일부 연구에서는 decoder 전용 LLM이 Fine-tuning 없이 autoregressively 다음 토큰을 예측함으로써 특정 작업으로 자연스럽게 전이될 수 있다는 사실도 밝혀졌습니다[26, 55]. LM의 중요한 변형은 prefix decoder 아키텍처로 모델을 사전 학습하도록 설계된 _prefix language modeling_ 작업입니다. 무작위로 선택된 prefix 내의 토큰은 prefix language modeling의 Loss를 계산하는 데 사용되지 않습니다. 사전 학습 중에 볼 수 있는 토큰의 양이 같을 때, 모델 사전 학습에 참여하는 시퀀스의 토큰 수가 적기 때문에 prefix language modeling은 language modeling보다 약간 더 나쁜 성능을 보입니다[29].
대부분의 언어 작업은 입력을 기반으로 예측 문제로 변환할 수 있으므로, 이러한 디코더 전용 LLM은 이러한 작업을 단일 LM 방식으로 수행하는 방법을 암묵적으로 학습하는 데 잠재적으로 유리할 수 있습니다. 일부 연구에서는 디코더 전용 LLM이 미세 조정 없이 자동 회귀적으로 다음 토큰을 예측함으로써 특정 작업으로 자연스럽게 전이될 수 있다는 사실도 밝혀졌습니다[26, 55]. LM의 중요한 변형은 접두사 디코더 아키텍처로 모델을 사전 학습하도록 설계된 _접두사 언어 모델링_ 작업입니다. 무작위로 선택된 접두사 내의 토큰은 접두사 언어 모델링의 손실을 계산하는 데 사용되지 않습니다. 사전 학습 중에 볼 수 있는 토큰의 양이 같을 때, 모델 사전 학습에 참여하는 시퀀스의 토큰 수가 적기 때문에 접두사 언어 모델링은 언어 모델링보다 약간 더 나쁜 성능을 보입니다[29].