Code-switching is a phenomenon in which multilingual speakers switch between languages within a single utterance. Previous work on the performance of multilingual language models on code-switching tasks has shown mixed results. Some studies have suggested that pretrained models fine-tuned for specific code-switching scenarios can achieve state-of-the-art performance for certain language pairs such as English-Spanish and English-Hindi Khanuja et al. (2020), while others have found that using meta-embeddings can yield better results with fewer parameters Winata et al. (2019); Winata et al. (2019, 2021). In another line of research, code-switching-based methods have been presented to improve the capability of multilingual language models Jiang et al. (2020); Tan and Joty (2021); Krishnan et al. (2021).
코드 전환은 다국어 사용자가 한 번의 발화 내에서 언어를 전환하는 현상입니다. 코드 전환 작업에서 다국어 언어 모델의 성능에 대한 이전 연구에서는 엇갈린 결과가 나타났습니다. 일부 연구에서는 특정 코드 전환 시나리오에 맞게 미리 학습된 모델을 Fine-tuning하면 영어-스페인어 및 영어-힌디어와 같은 특정 언어 쌍에 대해 최첨단 성능을 달성할 수 있다고 제안한 반면, 다른 연구에서는 메타 임베딩을 사용하면 더 적은 파라미터로 더 나은 결과를 얻을 수 있다고 발견했습니다. Winata et al. (2019); Winata et al. (2019, 2021). 또 다른 연구에서는 코드 전환 기반 방법을 통해 다국어 언어 모델의 기능을 개선하는 방법이 제시되었습니다. Jiang et al. (2020); Tan and Joty (2021); Krishnan et al. (2021).
코드 전환은 다국어 사용자가 한 번의 발화 내에서 언어를 전환하는 현상입니다. 코드 전환 작업에서 다국어 언어 모델의 성능에 대한 이전 연구에서는 엇갈린 결과가 나타났습니다. 일부 연구에서는 특정 코드 전환 시나리오에 맞게 미리 학습된 모델을 미세 조정하면 영어-스페인어 및 영어-힌디어와 같은 특정 언어 쌍에 대해 최첨단 성능을 달성할 수 있다고 제안한 반면, 다른 연구에서는 메타 임베딩을 사용하면 더 적은 파라미터로 더 나은 결과를 얻을 수 있다고 발견했습니다. Winata et al. (2019); Winata et al. (2019, 2021). 또 다른 연구에서는 코드 전환 기반 방법을 통해 다국어 언어 모델의 기능을 개선하는 방법이 제시되었습니다. Jiang et al. (2020); Tan and Joty (2021); Krishnan et al. (2021).