**Safety and Alignment.** Despite the capacities, LLMs are faced with great safety challenges in practical use. As a fundamental issue of probabilistic modeling nature, LLMs exhibit a tendency to generate hallucinations [638], referring to texts that seem plausible but may be factually incorrect [46]. What is worse, LLMs might be elicited by intentional instructions to produce harmful, biased, or toxic texts for malicious systems, leading to the potential risks of misuse [66, 55]. To have a detailed discussion of the safety issues of LLMs (_e.g._, privacy, overreliance, disinformation, and influence operations), the readers can refer to the GPT-3/4 technical reports [55, 46]. As the major technical approach to averting these issues, alignment methods (_e.g._, RLHF) [116, 66] have been widely used by leveraging human feedback for developing well-aligned LLMs. However, RLHF heavily relies on high-quality human feedback data from professional labelers, which is costly and time-consuming to recruit qualified human annotators. Therefore, it is necessary to improve the RLHF framework for reducing the efforts of human labelers and seek a more efficient annotation approach with guaranteed data quality, _e.g._, LLMs can be employed to assist the labeling work. Furthermore, it is also suggested to develop simplified optimization algorithms for alignment [386, 389], to reduce the training difficulty and unstability of RLHF. As another practical approach, red teaming [369, 132] has been adopted for improving the model safety of LLMs, which utilizes the collected adversarial prompts to refine the LLMs (_i.e._, avoiding the attacks from red teaming). In addition, privacy concerns are also important to consider when fine-tuning LLMs with domain-specific data, and thus federated based learning [946] can be useful in privacy-restricted scenarios.
**안전 및 정렬**. 능력에도 불구하고 LLM은 실제 사용에서 큰 안전 문제에 직면해 있습니다. 확률적 모델링의 근본적인 문제로서 LLM은 사실과 다를 수 있는 텍스트를 생성하는 'Hallucination' 현상을 보이는 경향이 있습니다[638]. 더욱이 LLM은 악의적인 시스템을 위해 의도적인 Instruction에 의해 유해하거나 편향되거나 독성 있는 텍스트를 생성하도록 유도되어 오용될 수 있는 잠재적 위험을 초래할 수 있습니다[66, 55]. LLM의 안전 문제(예: 개인정보 보호, 과잉 의존, 허위 정보, 영향력 작용)에 대한 자세한 논의는 GPT-3/4 기술 보고서[55, 46]를 참조하시기 바랍니다. 이러한 문제를 방지하기 위한 주요 기술적 접근 방식으로, 인간 피드백을 활용하여 잘 정렬된 LLM을 개발하기 위해 RLHF[116, 66]와 같은 정렬 방법이 널리 사용되었습니다. 그러나 RLHF는 자격을 갖춘 인간 주석자를 모집하는 데 많은 비용과 시간이 소요되는 전문 라벨러의 고품질 인간 피드백 데이터에 크게 의존합니다. 따라서 인간 라벨러의 노력을 줄이기 위한 RLHF 프레임워크를 개선하고 데이터 품질이 보장되는 보다 효율적인 주석 접근 방식(예: 라벨링 작업을 지원하기 위해 LLM을 사용할 수 있음)을 모색할 필요가 있습니다. 또한 정렬을 위한 단순화된 최적화 알고리즘을 개발하여 RLHF의 훈련 난이도와 불안정성을 줄이는 것도 제안되었습니다[386, 389]. 또 다른 실용적인 접근 방식으로, 수집된 적대적 프롬프트를 활용하여 LLM을 개선하는 Red Team[369, 132]이 채택되어 LLM의 모델 안전성을 개선하고 있습니다(즉, Red Team의 공격을 피하는 것). 또한, 도메인별 데이터로 LLM을 Fine-tuning할 때는 개인정보 보호 문제도 중요하게 고려해야 하므로, 개인정보 보호가 제한된 시나리오에서는 Federated Learning[946]이 유용할 수 있습니다.
**안전 및 정렬**. 능력에도 불구하고 LLM은 실제 사용에서 큰 안전 문제에 직면해 있습니다. 확률적 모델링의 근본적인 문제로서 LLM은 사실과 다를 수 있는 텍스트를 생성하는 '환각' 현상을 보이는 경향이 있습니다[638]. 더욱이 LLM은 악의적인 시스템을 위해 의도적인 지시에 의해 유해하거나 편향되거나 독성 있는 텍스트를 생성하도록 유도되어 오용될 수 있는 잠재적 위험을 초래할 수 있습니다[66, 55]. LLM의 안전 문제(예: 개인정보 보호, 과잉 의존, 허위 정보, 영향력 작용)에 대한 자세한 논의는 GPT-3/4 기술 보고서[55, 46]를 참조하시기 바랍니다. 이러한 문제를 방지하기 위한 주요 기술적 접근 방식으로, 인간 피드백을 활용하여 잘 정렬된 LLM을 개발하기 위해 RLHF[116, 66]와 같은 정렬 방법이 널리 사용되었습니다. 그러나 RLHF는 자격을 갖춘 인간 주석자를 모집하는 데 많은 비용과 시간이 소요되는 전문 라벨러의 고품질 인간 피드백 데이터에 크게 의존합니다. 따라서 인간 라벨러의 노력을 줄이기 위한 RLHF 프레임워크를 개선하고 데이터 품질이 보장되는 보다 효율적인 주석 접근 방식(예: 라벨링 작업을 지원하기 위해 LLM을 사용할 수 있음)을 모색할 필요가 있습니다. 또한 정렬을 위한 단순화된 최적화 알고리즘을 개발하여 RLHF의 훈련 난이도와 불안정성을 줄이는 것도 제안되었습니다[386, 389]. 또 다른 실용적인 접근 방식으로, 수집된 적대적 프롬프트를 활용하여 LLM을 개선하는 레드 팀[369, 132]이 채택되어 LLM의 모델 안전성을 개선하고 있습니다(즉, 레드 팀의 공격을 피하는 것). 또한, 도메인별 데이터로 LLM을 미세 조정할 때는 개인정보 보호 문제도 중요하게 고려해야 하므로, 개인정보 보호가 제한된 시나리오에서는 연합 기반 학습[946]이 유용할 수 있습니다.