As AutoEncoder language models excel at Natural Language Understanding (NLU) tasks, many RALM architectures(Thulke et al., 2021) (Cheng et al., 2024) (Sachan et al., 2021)utilise them for specific tasks, such as judgement. One of the most commonly used models is BERT and its improved versions.Devlin et al. (2018) proposed the BERT model, which was inspired by closed tasks(Taylor, 1953). RoBERTa(Liu et al., 2019) is trained using dynamic masking, full sentences without NSP loss, large mini-batches, and a larger byte-level BPE to address the lack of training of Bert's model. According to Jiang et al. (2020), BERT heavily relies on global self-attention blocks, resulting in a large memory footprint and computational cost. Although all attention heads query the entire input sequence, some only need to learn local dependencies, leading to computational redundancy. To address this issue, They proposed a new span-based dynamic convolution to replace these self-attention heads and directly model local dependencies. The new convolutional head, along with other self-attentive heads, forms a hybrid attention block. Furthermore, Sanh et al. (2019) was able to decrease the size of the BERT model by 40% while maintaining 97% of its language comprehension abilities and achieving a 60% increase in speed by implementing knowledge distillation during the pre-training phase.
자동 Encoder 언어 모델은 자연어 이해(NLU) 작업에서 탁월한 성능을 발휘하기 때문에, 많은 RALM 아키텍처(Thulke et al., 2021)(Cheng et al., 2024)(Sachan et al., 2021)가 판단과 같은 특정 작업에 이를 활용합니다. 가장 일반적으로 사용되는 모델 중 하나는 BERT와 그 개선된 버전입니다.Devlin et al. (2018)은 폐쇄형 과제(Taylor, 1953)에서 영감을 받아 BERT 모델을 제안했습니다. RoBERTa(Liu et al., 2019)는 동적 마스킹, NSP Loss가 없는 전체 문장, 대규모 미니 배치, 더 큰 바이트 수준 BPE를 사용하여 훈련하여 BERT 모델의 훈련 부족을 해결했습니다. Jiang et al. (2020)에 따르면 BERT는 글로벌 self-attention 블록에 크게 의존하기 때문에 메모리 사용량과 계산 비용이 큽니다. 모든 attention 헤드가 전체 입력 시퀀스를 쿼리하지만 일부는 로컬 종속성만 학습하면 되기 때문에 계산 중복이 발생합니다. 이 문제를 해결하기 위해 이들은 이러한 self-attention 헤드를 대체하고 로컬 종속성을 직접 모델링하기 위해 새로운 스팬 기반 동적 컨볼루션을 제안했습니다. 이 새로운 컨볼루션 헤드는 다른 self-attentive 헤드와 함께 하이브리드 attention 블록을 형성합니다. 또한 Sanh et al. (2019)은 사전 학습 단계에서 knowledge distillation을 구현하여 언어 이해 능력의 97%를 유지하면서 BERT 모델의 크기를 40% 줄이고 속도를 60% 높일 수 있었습니다.
자동 인코더 언어 모델은 자연어 이해(NLU) 작업에서 탁월한 성능을 발휘하기 때문에, 많은 RALM 아키텍처(Thulke et al., 2021)(Cheng et al., 2024)(Sachan et al., 2021)가 판단과 같은 특정 작업에 이를 활용합니다. 가장 일반적으로 사용되는 모델 중 하나는 BERT와 그 개선된 버전입니다.Devlin et al. (2018)은 폐쇄형 과제(Taylor, 1953)에서 영감을 받아 BERT 모델을 제안했습니다. RoBERTa(Liu et al., 2019)는 동적 마스킹, NSP 손실이 없는 전체 문장, 대규모 미니 배치, 더 큰 바이트 수준 BPE를 사용하여 훈련하여 Bert 모델의 훈련 부족을 해결했습니다. Jiang et al. (2020)에 따르면 BERT는 글로벌 자기 주의 블록에 크게 의존하기 때문에 메모리 사용량과 계산 비용이 큽니다. 모든 주의 헤드가 전체 입력 시퀀스를 쿼리하지만 일부는 로컬 종속성만 학습하면 되기 때문에 계산 중복이 발생합니다. 이 문제를 해결하기 위해 이들은 이러한 자기 주의 헤드를 대체하고 로컬 종속성을 직접 모델링하기 위해 새로운 스팬 기반 동적 컨볼루션을 제안했습니다. 이 새로운 컨볼루션 헤드는 다른 자기 주의 헤드와 함께 하이브리드 주의 블록을 형성합니다. 또한 Sanh et al. (2019)은 사전 학습 단계에서 지식 증류를 구현하여 언어 이해 능력의 97%를 유지하면서 BERT 모델의 크기를 40% 줄이고 속도를 60% 높일 수 있었습니다.