**Background.** LLMs have shown remarkable capabilities in a wide range of NLP tasks [55, 56, 67, 90]. However, these models may sometimes exhibit unintended behaviors, _e.g._, fabricating false information, pursuing inaccurate objectives, and producing harmful, misleading, and biased expressions [66, 366]. For LLMs, the language modeling objective pre-trains the model parameters by word prediction while lacking the consideration of human values or preferences. To avert these unexpected behaviors, human alignment has been proposed to make LLMs act in line with human expectations [66, 367]. However, unlike the original pre-training and adaptation tuning (_e.g._, instruction tuning), such an alignment requires considering very different criteria (_e.g._, helpfulness, honesty, and harmlessness). It has been shown that alignment might harm the general abilities of LLMs to some extent, which is called _alignment tax_ in related literature [368].
**배경**. LLM은 다양한 자연어 처리 작업에서 놀라운 능력을 보여주었습니다[55, 56, 67, 90]. 그러나 이러한 모델은 때때로 의도하지 않은 행동, 예를 들어 잘못된 정보를 조작하거나 부정확한 목표를 추구하거나 유해하고 오해의 소지가 있거나 편향된 표현을 생성하는 등의 행동을 보일 수 있습니다[66, 366]. LLM의 경우, 언어 모델링 objective는 단어 예측을 통해 모델 파라미터를 사전 학습시키지만 인간의 가치나 선호도를 고려하지 않습니다. 이러한 예기치 않은 행동을 방지하기 위해 인간의 조정을 통해 LLM이 인간의 기대에 부합하는 방향으로 작동하도록 제안되었습니다[66, 367]. 그러나 원래의 사전 학습 및 적응 tuning (_예: Instruction Tuning)과 달리 이러한 정렬에는 매우 다른 기준(_예: 유용성, 정직성, 무해성)을 고려해야 합니다. 관련 문헌에서 _alignment tax_라고 하는 이러한 정렬이 LLM의 일반적인 능력에 어느 정도 해를 끼칠 수 있다는 것이 밝혀졌습니다[368].
**배경**. LLM은 다양한 자연어 처리 작업에서 놀라운 능력을 보여주었습니다[55, 56, 67, 90]. 그러나 이러한 모델은 때때로 의도하지 않은 행동, 예를 들어 잘못된 정보를 조작하거나 부정확한 목표를 추구하거나 유해하고 오해의 소지가 있거나 편향된 표현을 생성하는 등의 행동을 보일 수 있습니다[66, 366]. LLM의 경우, 언어 모델링 목표는 단어 예측을 통해 모델 파라미터를 사전 학습시키지만 인간의 가치나 선호도를 고려하지 않습니다. 이러한 예기치 않은 행동을 방지하기 위해 인간의 조정을 통해 LLM이 인간의 기대에 부합하는 방향으로 작동하도록 제안되었습니다[66, 367]. 그러나 원래의 사전 학습 및 적응 튜닝(_예: 지침 튜닝)과 달리 이러한 정렬에는 매우 다른 기준(_예: 유용성, 정직성, 무해성)을 고려해야 합니다. 관련 문헌에서 _정렬 세금_이라고 하는 이러한 정렬이 LLM의 일반적인 능력에 어느 정도 해를 끼칠 수 있다는 것이 밝혀졌습니다[368].