RehearsalLarge LMs are usually pretrained on a vast amount of raw text corpus such as Common Craww9. When treating pretraining as a CL task, limitations exist when trying to apply previous rehearsal methods since a few samples from the pretraining corpus cannot represent the overall world knowledge from the original pretraining corpus. Mix-Review (He et al., 2021) solves this issue by performing preliminary experiments in a smaller pretraining setting by assuming access to the pretraining corpus during finetuning and mixing random subsets of pretraining corpus depending on a mix-ratio that anneals towards the target task as training progresses. Mix-Review can be considered a mild version of multi-task learning.
리허설대형 LMs는 일반적으로 Common Craww9와 같은 방대한 양의 원시 텍스트 코퍼스에 대해 사전 학습을 거칩니다. 사전 학습을 CL 작업으로 취급할 때, 사전 학습 코퍼스의 몇 가지 샘플이 원래 사전 학습 코퍼스의 전반적인 세계 지식을 대표할 수 없기 때문에 이전 리허설 방법을 적용하려고 할 때 한계가 있습니다. Mix-Review(He et al., 2021)는 Fine-tuning 중에 사전 학습 코퍼스에 대한 액세스 권한이 있다고 가정하고 훈련이 진행됨에 따라 목표 작업을 향해 어닐링되는 믹스 비율에 따라 사전 학습 코퍼스의 무작위 하위 집합을 혼합하여 더 작은 사전 학습 설정에서 예비 실험을 수행함으로써 이 문제를 해결합니다. Mix-Review는 multi-task learning의 가벼운 버전으로 간주할 수 있습니다.
리허설대형 LM은 일반적으로 Common Craww9와 같은 방대한 양의 원시 텍스트 코퍼스에 대해 사전 학습을 거칩니다. 사전 학습을 CL 작업으로 취급할 때, 사전 학습 코퍼스의 몇 가지 샘플이 원래 사전 학습 코퍼스의 전반적인 세계 지식을 대표할 수 없기 때문에 이전 리허설 방법을 적용하려고 할 때 한계가 있습니다. Mix-Review(He et al., 2021)는 미세 조정 중에 사전 학습 코퍼스에 대한 액세스 권한이 있다고 가정하고 훈련이 진행됨에 따라 목표 작업을 향해 어닐링되는 믹스 비율에 따라 사전 학습 코퍼스의 무작위 하위 집합을 혼합하여 더 작은 사전 학습 설정에서 예비 실험을 수행함으로써 이 문제를 해결합니다. Mix-Review는 다중 작업 학습의 가벼운 버전으로 간주할 수 있습니다.