\(\bullet\)_Safety and alignment._ Safety and alignment has been widely discussed in LLMs, which aim to regulate the behaviors of models by technical approaches [66]. This topic is also important to MLLMs. Even a highly advanced MLLM (_e.g.,_ GPT-4V [133]) can be susceptible to safety issues. For example, GPT-4V might occasionally exhibit factual inaccuracies and baseless inferences about images. In some cases, it may even generate harmful content targeting specific individuals or groups [133]. Furthermore, open-sourced MLLMs are also prone to generate hallucinated response [844] and can be easily manipulated to produce harmful content [858]. To address the aforementioned issues, some studies collect specialized visual instructions to mitigate the problem of hallucination [834]. Another alternative approach is to train a revision model to rectify hallucinated response generated by MLLMs in a post-hoc way [859]. Additionally, aligning MLLMs with RLHF can also assist MLLMs in generating responses with improved factuality [860]. Despite these efforts, existing alignment techniques for MLLMs mainly concentrate on several specific aspects (_e.g.,_ hallucination), lacking a comprehensive consideration of alignment criteria. More efforts should be made to promote the research of safety and alignment for MLLMs.
\(\bullet\)_안전 및 정렬._ 안전 및 정렬은 기술적 접근 방식[66]을 통해 모델의 행동을 규제하는 것을 목표로 하는 LLM에서 널리 논의되어 왔습니다. 이 주제는 MLLM에도 중요합니다. 고도로 발전된 MLLM(_예:_ GPT-4V [133])도 안전 문제에 취약할 수 있습니다. 예를 들어, GPT-4V는 때때로 이미지에 대한 사실적 부정확성과 근거 없는 추론을 보일 수 있습니다. 경우에 따라 특정 개인이나 집단을 대상으로 하는 유해한 콘텐츠를 생성할 수도 있습니다 [133]. 또한 오픈 소스 MLLM은 hallucinated response를 생성하기 쉽고 [844] 유해한 콘텐츠를 생성하도록 쉽게 조작될 수 있습니다 [858]. 앞서 언급한 문제를 해결하기 위해 일부 연구에서는 hallucination 문제를 완화하기 위해 특수한 시각적 instructions를 수집합니다 [834]. 또 다른 대안 접근 방식은 사후 방식으로 MLLM에서 생성된 hallucinated response를 수정하기 위해 revision 모델을 훈련하는 것입니다 [859]. 또한 RLHF와 MLLM을 조정하면 사실성이 향상된 응답을 생성하는 데 도움이 될 수 있습니다 [860]. 이러한 노력에도 불구하고 MLLM에 대한 기존의 alignment 기법은 주로 몇 가지 특정 측면(_예:_ hallucination)에 집중되어 있으며, alignment 기준에 대한 포괄적인 고려가 부족합니다. MLLM의 안전 및 alignment 연구를 촉진하기 위해 더 많은 노력을 기울여야 합니다.
\(\bullet\)_안전 및 정렬._ 안전 및 정렬은 기술적 접근 방식[66]을 통해 모델의 행동을 규제하는 것을 목표로 하는 LLM에서 널리 논의되어 왔습니다. 이 주제는 MLLM에도 중요합니다. 고도로 발전된 MLLM(_예:_ GPT-4V [133])도 안전 문제에 취약할 수 있습니다. 예를 들어, GPT-4V는 때때로 이미지에 대한 사실적 부정확성과 근거 없는 추론을 보일 수 있습니다. 경우에 따라 특정 개인이나 집단을 대상으로 하는 유해한 콘텐츠를 생성할 수도 있습니다 [133]. 또한 오픈 소스 MLLM은 환각성 반응을 생성하기 쉽고 [844] 유해한 콘텐츠를 생성하도록 쉽게 조작 될 수 있습니다 [858]. 앞서 언급 한 문제를 해결하기 위해 일부 연구에서는 환각 문제를 완화하기 위해 특수한 시각적 지침을 수집합니다 [834]. 또 다른 대안 접근 방식은 사후 방식으로 MLLM에서 생성 된 환각 반응을 수정하기 위해 수정 모델을 훈련하는 것입니다 [859]. 또한 RLHF와 MLLM을 조정하면 사실성이 향상된 응답을 생성하는 데 도움이 될 수 있습니다 [860]. 이러한 노력에도 불구하고 MLLM에 대한 기존의 정렬 기법은 주로 몇 가지 특정 측면(_예:_ 환각)에 집중되어 있으며, 정렬 기준에 대한 포괄적인 고려가 부족합니다. MLLM의 안전 및 정렬 연구를 촉진하기 위해 더 많은 노력을 기울여야 합니다.