RoBERTa [25] significantly improves the robustness of BERT using a set of model design choices and training strategies, such as modifying a few key hyperparameters, removing the next-sentence pre-training objective and training with much larger mini-batches and learning rates. ALBERT [45] uses two parameter-reduction techniques to lower memory consumption and increase the training speed of BERT: (1) splitting the embedding matrix into two smaller matrices, and (2) using repeating layers split among groups. DeBERTa (Decoding-enhanced BERT with disentangled attention) [26] improves the BERT and RoBERTa models using two novel techniques.
RoBERTa [25]는 몇 가지 주요 hyperparameter 수정, 다음 문장 전처리 objective 제거, 훨씬 더 큰 mini-batch 및 learning rate로 훈련하는 등 일련의 모델 설계 선택 및 훈련 전략을 사용하여 BERT의 robustness를 크게 개선합니다. ALBERT [45]는 두 가지 parameter-reduction 기술을 사용하여 BERT의 메모리 소비를 줄이고 훈련 속도를 높입니다: (1) embedding 행렬을 두 개의 작은 행렬로 분할하고, (2) 그룹 간에 반복 레이어를 분할하는 것입니다. DeBERTa(분리된 attention을 갖춘 Decoding-enhanced BERT) [26]는 두 가지 새로운 기술을 사용하여 BERT 및 RoBERTa 모델을 개선합니다.
RoBERTa [25]는 몇 가지 주요 하이퍼파라미터 수정, 다음 문장 전처리 목표 제거, 훨씬 더 큰 미니 배치 및 학습 속도로 훈련하는 등 일련의 모델 설계 선택 및 훈련 전략을 사용하여 BERT의 견고성을 크게 개선합니다. ALBERT [45]는 두 가지 매개변수 축소 기술을 사용하여 BERT의 메모리 소비를 줄이고 훈련 속도를 높입니다: (1) 임베딩 행렬을 두 개의 작은 행렬로 분할하고, (2) 그룹 간에 반복 레이어를 분할하는 것입니다. DeBERTa(분리된 주의력을 갖춘 디코딩 향상 BERT) [26]는 두 가지 새로운 기술을 사용하여 BERT 및 RoBERTa 모델을 개선합니다.