As we can see, these criteria are quite subjective, and are developed based on human cognition. Thus, it is difficult to directly formulate them as optimization objectives for LLMs. In existing work, there are many ways to fulfill these criteria when aligning LLMs. A promising technique is _red teaming_[369], which involves using manual or automated means to probe LLMs in an adversarial way to generate harmful outputs and then updates LLMs to prevent such outputs.
보시다시피 이러한 기준은 상당히 주관적이며 인간의 인식에 기반하여 개발되었습니다. 따라서 이러한 기준을 LLM의 최적화 목표로 직접 공식화하기는 어렵습니다. 기존 연구에서는 LLM을 정렬할 때 이러한 기준을 충족하는 방법이 많이 있습니다. 유망한 기법 중 하나는 _red teaming_[369]으로, 수동 또는 자동화된 수단을 사용하여 적대적인 방식으로 LLM을 탐색하여 유해한 출력을 생성한 다음 이러한 출력을 방지하기 위해 LLM을 업데이트하는 기법입니다.
보시다시피 이러한 기준은 상당히 주관적이며 인간의 인식에 기반하여 개발되었습니다. 따라서 이러한 기준을 LLM의 최적화 목표로 직접 공식화하기는 어렵습니다. 기존 연구에서는 LLM을 정렬할 때 이러한 기준을 충족하는 방법이 많이 있습니다. 유망한 기법 중 하나는 _레드 팀[369]_으로, 수동 또는 자동화된 수단을 사용하여 적대적인 방식으로 LLM을 탐색하여 유해한 출력을 생성한 다음 이러한 출력을 방지하기 위해 LLM을 업데이트하는 기법입니다.