In the area of Natural Language Processing (NLP), an extensive range of data augmentation techniques has been introduced for diverse applications, such as translation, summarization, and dialogue (Chen et al., 2023b; Fadaee et al., 2017; Xie et al., 2016; Lample et al., 2017; Guo et al., 2020a; Xie et al., 2022; Wang et al., 2018). The noise-based strategies commonly involve the integration of random continuous noise (Cheng et al., 2018; Jain et al., 2023; Kedzie and McKeown, 2019), token dropout (Xie et al., 2016; Gal and Ghahramani, 2015), token swapping (Wei and Zou, 2019), and more advanced mixup strategies (Guo et al., 2020b; Xie et al., 2022). Recently, in the context of regularization for LLMs, Jain et al. (2023) has demonstrated that the application of continuous noise across all tokens during the instruction tuning can significantly improve the length and detail of the generated responses. However, this technique does not improve the reasoning ability. We adopt the discrete token noise through token dropout (Xie et al., 2016; Gal and Ghahramani, 2015) to reasoning tasks, finding that it works well, which may complement the dependency-rich structure characteristic of reasoning data.
자연어 처리(NLP) 영역에서는 번역, 요약, 대화 등 다양한 애플리케이션을 위해 광범위한 데이터 증강 기법이 도입되었습니다(Chen et al., 2023b; Fadaee et al., 2017; Xie et al., 2016; Lample et al., 2017; Guo et al., 2020a; Xie et al., 2022; Wang et al., 2018). 노이즈 기반 전략은 일반적으로 무작위 연속 노이즈(Cheng et al., 2018; Jain et al., 2023; Kedzie and McKeown, 2019), token dropout(Xie et al., 2016; Gal and Ghahramani, 2015), token swapping(Wei and Zou, 2019) 등의 통합을 포함합니다. 최근에는 정규화의 맥락에서 LLM에 대한 정규화의 맥락에서 Jain et al. (2023)은 Instruction Tuning 중에 모든 토큰에 연속 노이즈를 적용하면 생성된 응답의 길이와 세부 사항을 크게 개선할 수 있음을 입증했습니다. 그러나 이 기법은 추론 능력을 향상시키지 못합니다. 우리는 추론 작업에 token dropout(Xie et al., 2016; Gal and Ghahramani, 2015)을 통한 불연속 토큰 노이즈를 채택하여 추론 데이터의 종속성이 풍부한 구조적 특성을 보완할 수 있는 효과가 있음을 발견했습니다.
자연어 처리(NLP) 영역에서는 번역, 요약, 대화 등 다양한 애플리케이션을 위해 광범위한 데이터 증강 기법이 도입되었습니다(Chen et al., 2023b; Fadaee et al., 2017; Xie et al., 2016; Lample et al., 2017; Guo et al., 2020a; Xie et al., 2022; Wang et al., 2018). 노이즈 기반 전략은 일반적으로 무작위 연속 노이즈(Cheng et al., 2018; Jain et al., 2023; Kedzie and McKeown, 2019), 토큰 드롭아웃(Xie et al., 2016; Gal and Ghahramani, 2015), 토큰 스왑(Wei and Zou, 2019) 등의 통합을 포함합니다. 최근에는 정규화의 맥락에서 LLM에 대한 정규화의 맥락에서 Jain et al. (2023)은 명령 튜닝 중에 모든 토큰에 연속 노이즈를 적용하면 생성된 응답의 길이와 세부 사항을 크게 개선할 수 있음을 입증했습니다. 그러나 이 기법은 추론 능력을 향상시키지 못합니다. 우리는 추론 작업에 토큰 드롭아웃(Xie et al., 2016; Gal and Ghahramani, 2015)을 통한 불연속 토큰 노이즈를 채택하여 추론 데이터의 종속성이 풍부한 구조적 특성을 보완할 수 있는 효과가 있음을 발견했습니다.