We employ Llama2-7b-base model for enhancement to eliminate the interference of instruction fine-tuning. We select causal language modeling as our fine-tuning task and create a dataset comprising \(200\) documents for each language, extracted from the Wikipedia corpus.4 It is important to note that our enhancements are focused on augmenting the model's capabilities in understanding and generation only; we do not extend its reasoning faculties or broaden its knowledge base as it may require more specific data preparation. Accordingly, we evaluate the efficacy of our enhancements through targeted understanding and generation tasks. Detailed experiment results are shown in Table 8.
명령어 미세 조정의 간섭을 제거하기 위해 Llama2-7b-base 모델을 사용하여 개선합니다. Fine-tuning 작업으로 인과적 언어 모델링을 선택하고 위키피디아 말뭉치에서 추출한 각 언어에 대해 \(200\)개의 문서로 구성된 데이터 세트를 생성합니다. 우리의 개선 사항은 이해와 생성 기능을 강화하는 데 초점을 맞추고 있으며, 추론 능력을 확장하거나 지식 기반을 넓히는 것은 보다 구체적인 데이터 준비가 필요할 수 있으므로 하지 않는다는 점에 유의해야 합니다. 따라서 타겟팅된 이해 및 생성 작업을 통해 개선 효과를 평가합니다. 자세한 실험 결과는 표 8에 나와 있습니다.
명령어 미세 조정의 간섭을 제거하기 위해 Llama2-7b-base 모델을 사용하여 개선합니다. 미세 조정 작업으로 인과적 언어 모델링을 선택하고 위키피디아 말뭉치에서 추출한 각 언어에 대해 \(200\)개의 문서로 구성된 데이터 세트를 생성합니다.4 우리의 개선 사항은 이해와 생성 기능을 강화하는 데 초점을 맞추고 있으며, 추론 능력을 확장하거나 지식 기반을 넓히는 것은 보다 구체적인 데이터 준비가 필요할 수 있으므로 하지 않는다는 점에 유의해야 합니다. 따라서 타겟팅된 이해 및 생성 작업을 통해 개선 효과를 평가합니다. 자세한 실험 결과는 표 8에 나와 있습니다.