Back-translation augmentation.Many multilingual language models use back-translation as a data augmentation method, creating synthetic parallel training data from monolingual data sources (Bi et al., 2021; Caswell et al., 2019; Liao et al., 2021; Marie et al., 2020; Pham et al., 2021; Sennrich et al., 2016; Xu et al., 2022; Zheng et al., 2020). For example, Sennrich et al. (2016) back-translate monolingual target data into source language data, providing additional parallel training samples for substantial translation task improvements. Researchers have also explored different sampling methods for back-translation (e.g., beam search, constrained sampling, unconstrained sampling) and their comparative effectiveness (Edunov et al., 2018; Graca et al., 2019; Sennrich et al., 2016). Xu et al. (2022) emphasize the importance of the weight and quality of synthetic data for optimal NMT performance using back-translation. They propose a method to optimize the ratio between search methods and a gamma score to balance estimated importance weight and quality. However, some limitations exist with back-translation-based synthetic data generation. For example, the quality and diversity of synthetic data depends on the performance of the back-translation method. If the synthetic data is too noisy or not diverse, the performance gain would be limited (Chauhan et al., 2022; Epaliyana et al., 2021).
백-translation 증강. 많은 다국어 언어 모델은 데이터 증강 방법으로 백-translation을 사용하여 단일 언어 데이터 소스에서 합성 평행 학습 데이터를 생성합니다(Bi et al., 2021; Caswell et al., 2019; Liao et al., 2021; Marie et al., 2020; Pham et al., 2021; Sennrich et al., 2016; Xu et al., 2022; Zheng et al., 2020). 예를 들어, Sennrich et al. (2016)은 단일 언어 대상 데이터를 소스 언어 데이터로 백-translate하여 상당한 번역 작업 개선을 위한 추가 병렬 학습 샘플을 제공합니다. 연구자들은 백-translation을 위한 다양한 샘플링 방법(예: beam search, constrained sampling, unconstrained sampling)과 그 비교 효과(Edunov et al., 2018; Graca et al., 2019; Sennrich et al., 2016)도 탐구했습니다. Xu et al. (2022)은 백-translation을 사용하여 최적의 NMT 성능을 위해 합성 데이터의 가중치와 품질의 중요성을 강조합니다. 이들은 추정 중요도 가중치와 품질의 균형을 맞추기 위해 검색 방법 간의 비율과 감마 점수를 최적화하는 방법을 제안합니다. 그러나 백-translation 기반 합성 데이터 생성에는 몇 가지 한계가 있습니다. 예를 들어, 합성 데이터의 품질과 다양성은 백-translation 방법의 성능에 따라 달라집니다. 합성 데이터가 너무 노이즈가 많거나 다양하지 않으면 성능 향상이 제한됩니다(Chauhan et al., 2022; Epaliyana et al., 2021).
백 트랜슬레이션 증강.많은 다국어 언어 모델은 데이터 증강 방법으로 백 트랜슬레이션을 사용하여 단일 언어 데이터 소스에서 합성 평행 학습 데이터를 생성합니다(Bi et al., 2021; Caswell et al., 2019; Liao et al., 2021; Marie et al., 2020; Pham et al., 2021; Sennrich et al., 2016; Xu et al., 2022; Zheng et al., 2020). 예를 들어, Sennrich et al. (2016)은 단일 언어 대상 데이터를 소스 언어 데이터로 역번역하여 상당한 번역 작업 개선을 위한 추가 병렬 학습 샘플을 제공합니다. 연구자들은 백 트랜슬레이션을 위한 다양한 샘플링 방법(예: 빔 검색, 제한 샘플링, 제한되지 않은 샘플링)과 그 비교 효과(Edunov et al., 2018; Graca et al., 2019; Sennrich et al., 2016)도 탐구했습니다. Xu et al. (2022)은 백 트랜슬레이션을 사용하여 최적의 NMT 성능을 위해 합성 데이터의 가중치와 품질의 중요성을 강조합니다. 이들은 추정 중요도 가중치와 품질의 균형을 맞추기 위해 검색 방법 간의 비율과 감마 점수를 최적화하는 방법을 제안합니다. 그러나 백 트랜슬레이션 기반 합성 데이터 생성에는 몇 가지 한계가 있습니다. 예를 들어, 합성 데이터의 품질과 다양성은 백 트랜슬레이션 방법의 성능에 따라 달라집니다. 합성 데이터가 너무 노이즈가 많거나 다양하지 않으면 성능 향상이 제한됩니다(Chauhan et al., 2022; Epaliyana et al., 2021).