Generating multilingual questions and answers at scale.Recent studies explore the generation and utilization of synthetic multilingual question-answer (QA) pairs to improve language models'performance in multilingual and cross-lingual question answering (Abulkhanov et al., 2023; Asai et al., 2021; Chi et al., 2020; Kumar et al., 2019; Li and Callison-Burch, 2023; Riabi et al., 2021). One approach is to translate existing monolingual questions and/or answers into other languages (Asai et al., 2021). Another involves using Question Generation (QG) models to produce synthetic questions in a cross-lingual fashion based on answers and/or source texts (Chi et al., 2020; Kumar et al., 2019; Riabi et al., 2021). Recent efforts also focus on jointly generating questions and answers in multiple languages for greater flexibility (Li and Callison-Burch, 2023; Shakeri et al., 2021). For example, Shakeri et al. (2021) finetune a pretrained multilingual T5 model (Xue et al., 2020) on a mixture of a QA generation task and a multilingual masked language modeling task to produce synthetic QA pairs in multiple languages. These efforts generally show that language models trained on synthetic QA pairs demonstrate improved performance on multilingual QA and information retrieval benchmarks.
다국어 질문과 답변을 대규모로 생성합니다. 최근 연구에서는 다국어 및 다국어 질문 답변(Abulkhanov et al., 2023; Asai et al., 2021; Chi et al., 2020; Kumar et al., 2019; Li and Callison-Burch, 2023; Riabi et al., 2021)에서 언어 모델의 성능을 개선하기 위해 합성 다국어 질문 답변(QA) 쌍의 생성과 활용을 탐구합니다. 한 가지 접근 방식은 기존 단일 언어 질문 및/또는 답변을 다른 언어로 번역하는 것입니다(Asai et al., 2021). 또 다른 접근 방식은 Question Generation (QG) 모델을 사용하여 답변 및/또는 소스 텍스트를 기반으로 다국어 방식으로 합성 질문을 생성하는 것입니다(Chi et al., 2020; Kumar et al., 2019; Riabi et al., 2021). 최근의 노력은 더 큰 유연성을 위해 여러 언어로 질문과 답변을 공동으로 생성하는 데 중점을 두고 있습니다(Li and Callison-Burch, 2023; Shakeri et al., 2021). 예를 들어, Shakeri et al.(2021)은 QA 생성 작업과 다국어 마스크 언어 모델링 작업의 혼합물에 대해 사전 학습된 다국어 T5 모델(Xue et al., 2020)을 Fine-tuning하여 여러 언어로 합성 QA 쌍을 생성합니다. 이러한 노력은 일반적으로 합성 QA 쌍으로 학습된 언어 모델이 다국어 QA 및 정보 검색 벤치마크에서 향상된 성능을 보여준다는 것을 보여줍니다.
다국어 질문과 답변을 대규모로 생성합니다.최근 연구에서는 다국어 및 다국어 질문 답변(Abulkhanov et al., 2023; Asai et al., 2021; Chi et al., 2020; Kumar et al., 2019; Li and Callison-Burch, 2023; Riabi et al., 2021)에서 언어 모델의 성능을 개선하기 위해 합성 다국어 질문 답변(QA) 쌍의 생성과 활용을 탐구합니다. 한 가지 접근 방식은 기존 단일 언어 질문 및/또는 답변을 다른 언어로 번역하는 것입니다(Asai et al., 2021). 또 다른 접근 방식은 질문 생성(QG) 모델을 사용하여 답변 및/또는 소스 텍스트를 기반으로 다국어 방식으로 합성 질문을 생성하는 것입니다(Chi et al., 2020; Kumar et al., 2019; Riabi et al., 2021). 최근의 노력은 더 큰 유연성을 위해 여러 언어로 질문과 답변을 공동으로 생성하는 데 중점을 두고 있습니다(Li and Callison-Burch, 2023; Shakeri et al., 2021). 예를 들어, Shakeri et al.(2021)은 QA 생성 작업과 다국어 마스크 언어 모델링 작업의 혼합물에 대해 사전 학습된 다국어 T5 모델(Xue et al., 2020)을 미세 조정하여 여러 언어로 합성 QA 쌍을 생성합니다. 이러한 노력은 일반적으로 합성 QA 쌍으로 학습된 언어 모델이 다국어 QA 및 정보 검색 벤치마크에서 향상된 성능을 보여준다는 것을 보여줍니다.