of the language identification experiment. We observe that when using English prompts, nearly every model tends to generate output in English. When provided with a Chinese prompt, we observed that Llama-2-7b tends to output in Chinese, whereas Llama-2-7b-chat tends to output in English. Furthermore, with Chinese prompts, the Freeze First 10 Layers model tends to yield a higher proportion of Chinese text output than the Freeze Last 10 Layers model. Models with frozen modules show relatively similar results, with approximately \(60\%\) of their output being in Chinese. In the case of adapters, increasing the learning rate can lead the Lora model to produce more Chinese output, while the (Ia)\({}^{3}\) model tends to favor English output.
언어 식별 실험의 결과입니다. 영어 프롬프트를 사용할 경우 거의 모든 모델이 영어로 출력을 생성하는 경향이 있음을 관찰할 수 있습니다. 중국어 프롬프트가 제공되면 Llama-2-7b는 중국어로 출력하는 경향이 있는 반면, Llama-2-7b-chat은 영어로 출력하는 경향이 있음을 관찰할 수 있습니다. 또한 중국어 프롬프트의 경우, 처음 10개 레이어를 동결한 모델이 마지막 10개 레이어를 동결한 모델보다 중국어 텍스트 출력 비율이 더 높은 경향이 있었습니다. 모듈이 동결된 모델은 출력의 약 \(60\%\)가 중국어인 상대적으로 유사한 결과를 보였습니다. 어댑터의 경우 Learning Rate를 높이면 Lora 모델이 더 많은 중국어 출력을 생성하는 경향이 있는 반면, (Ia)\({}^{3}\) 모델은 영어 출력을 선호하는 경향이 있습니다.
언어 식별 실험의 결과입니다. 영어 프롬프트를 사용할 경우 거의 모든 모델이 영어로 출력을 생성하는 경향이 있음을 관찰할 수 있습니다. 중국어 프롬프트가 제공되면 Llama-2-7b는 중국어로 출력하는 경향이 있는 반면, Llama-2-7b-chat은 영어로 출력하는 경향이 있음을 관찰할 수 있습니다. 또한 중국어 프롬프트의 경우, 처음 10개 레이어를 동결한 모델이 마지막 10개 레이어를 동결한 모델보다 중국어 텍스트 출력 비율이 더 높은 경향이 있었습니다. 모듈이 동결된 모델은 출력의 약 \(60\%\)가 중국어인 상대적으로 유사한 결과를 보였습니다. 어댑터의 경우 학습 속도를 높이면 Lora 모델이 더 많은 중국어 출력을 생성하는 경향이 있는 반면, (Ia)\({}^{3}\) 모델은 영어 출력을 선호하는 경향이 있습니다.