Motivated by these observations, we propose a new framework shown in Figure 2 that conceptualizes the operational stages of LLMs when processing multilingual inputs: In the first several layers, LLMs _understand_ the user input and convert the diverse linguistic features into a unified representation. Transitioning into the _task-solving_ phase, LLMs engage in solving the tasks by thinking in English and incorporating multilingual knowledge to obtain factual contents, leveraging the self-attention and feed-forward structures, respectively. Finally, models _generate_ responses that align with the original language of the query. Such a framework echoes the observations we have above and also some findings in previous studies, and thus reveals the LLMs' ability to shift among languages, allowing them to comprehend, reason, and respond effectively to multilingual tasks.
이러한 관찰에 동기를 부여하여, 우리는 다국어 입력을 처리할 때 LLM의 작동 단계를 개념화하는 그림 2에 표시된 새로운 프레임워크를 제안합니다: 처음 몇 개의 레이어에서 LLM은 사용자 입력을 _이해_하고 다양한 언어적 특징을 통합된 표현으로 변환합니다. _작업 해결_ 단계로 전환하면 LLM은 영어로 사고하고 다국어 지식을 통합하여 사실적인 내용을 획득하는 동시에 self-attention 및 feed-forward 구조를 각각 활용하여 작업을 해결하는 데 참여합니다. 마지막으로 모델은 쿼리의 원래 언어에 맞는 응답을 _생성_합니다. 이러한 프레임워크는 위에서 언급한 관찰과 이전 연구의 일부 연구 결과를 반영하며, 언어 간 전환을 통해 다국어 작업을 효과적으로 이해하고 추론하며 응답할 수 있는 LLM의 능력을 드러냅니다.
이러한 관찰에 동기를 부여하여, 우리는 다국어 입력을 처리할 때 LLM의 작동 단계를 개념화하는 그림 2에 표시된 새로운 프레임워크를 제안합니다: 처음 몇 개의 레이어에서 LLM은 사용자 입력을 _이해_하고 다양한 언어적 특징을 통합된 표현으로 변환합니다. _작업 해결_ 단계로 전환하면 LLM은 영어로 사고하고 다국어 지식을 통합하여 사실적인 내용을 획득하는 동시에 자기 주의 및 피드 포워드 구조를 각각 활용하여 작업을 해결하는 데 참여합니다. 마지막으로 모델은 쿼리의 원래 언어에 맞는 응답을 _생성_합니다. 이러한 프레임워크는 위에서 언급한 관찰과 이전 연구의 일부 연구 결과를 반영하며, 언어 간 전환을 통해 다국어 작업을 효과적으로 이해하고 추론하며 응답할 수 있는 LLM의 능력을 드러냅니다.