Hyper-Multilingual LLMsFrom Figure 0(b) we observe that BLOOMZ also tends to default to English as its "thinking" language. Therefore, it can support multiple languages mainly because it has the ability to understand and generate these languages while using English as the language of thinking. Additionally, Figure 4 illustrates the degree of neuron overlap among languages within both the self-attention and feed-forward structures of BLOOMZ. In contrast to the findings shown in Figure 3, there is a marked reduction in overlap, indicating that individual languages maintain a higher degree of independence and do not extensively share neurons with one another.
하이퍼 멀티 언어 LLM그림 0(b)를 통해 BLOOMZ도 "생각" 언어로 영어를 기본으로 하는 경향이 있음을 알 수 있습니다. 따라서 BLOOMZ는 주로 영어를 사고의 언어로 사용하면서 이러한 언어를 이해하고 생성하는 능력이 있기 때문에 여러 언어를 지원할 수 있습니다. 또한 그림 4는 self-attention 및 feed-forward 구조 모두에서 언어 간 뉴런 중복 정도를 보여줍니다. 그림 3에 나타난 결과와는 대조적으로 중복이 현저히 감소하여 개별 언어가 더 높은 수준의 독립성을 유지하고 서로 뉴런을 광범위하게 공유하지 않음을 나타냅니다.
하이퍼 멀티 언어 LLM그림 0(b)를 통해 BLOOMZ도 "생각" 언어로 영어를 기본으로 하는 경향이 있음을 알 수 있습니다. 따라서 BLOOMZ는 주로 영어를 사고의 언어로 사용하면서 이러한 언어를 이해하고 생성하는 능력이 있기 때문에 여러 언어를 지원할 수 있습니다. 또한 그림 4는 자기 주의 및 피드 포워드 구조 모두에서 언어 간 뉴런 중복 정도를 보여줍니다. 그림 3에 나타난 결과와는 대조적으로 중복이 현저히 감소하여 개별 언어가 더 높은 수준의 독립성을 유지하고 서로 뉴런을 광범위하게 공유하지 않음을 나타냅니다.