\(\bullet\)_Multilingual text._ In addition to the text in the target language, integrating a multilingual corpus can enhance the multilingual abilities of language understanding and generation. For example, BLOOM [78] and PaLM [56] have curated multilingual data covering 46 and 122 languages, respectively, within their pre-training corpora. FLM [102] mixes Chinese and English corpora in nearly equal proportions. These models demonstrate impressive performance in multilingual tasks, such as translation, multilingual summarization, and multilingual question answering, and achieve comparable or superior performance to the state-of-the-art models that are fine-tuned on the corpus in the target language(s).
\(\bullet\)_다국어 텍스트._ 대상 언어의 텍스트 외에도 다국어 말뭉치를 통합하면 언어 이해 및 생성의 다국어 능력을 향상시킬 수 있습니다. 예를 들어, BLOOM [78]과 PaLM [56]은 사전 학습 말뭉치 내에 각각 46개와 122개 언어를 다루는 다국어 데이터를 큐레이션했습니다. FLM [102]은 중국어와 영어 말뭉치를 거의 동일한 비율로 혼합합니다. 이러한 모델은 번역, 다국어 요약, 다국어 질의응답과 같은 다국어 작업에서 인상적인 성능을 보여주며, 대상 언어의 말뭉치에 맞게 Fine-tuning된 최신 모델과 비슷하거나 우수한 성능을 달성합니다.
\(\bullet\)_다국어 텍스트._ 대상 언어의 텍스트 외에도 다국어 말뭉치를 통합하면 언어 이해 및 생성의 다국어 능력을 향상시킬 수 있습니다. 예를 들어, BLOOM [78]과 PaLM [56]은 사전 학습 말뭉치 내에 각각 46개와 122개 언어를 다루는 다국어 데이터를 큐레이션했습니다. FLM [102]은 중국어와 영어 말뭉치를 거의 동일한 비율로 혼합합니다. 이러한 모델은 번역, 다국어 요약, 다국어 질의응답과 같은 다국어 작업에서 인상적인 성능을 보여주며, 대상 언어의 말뭉치에 맞게 미세 조정된 최신 모델과 비슷하거나 우수한 성능을 달성합니다.