Soft Sampling:In this case, instead of giving binary weights by leaving out all the other examples in the corpus, we assign soft weights based on the distance metric. This allows for the continual pre-training to see the samples outside the blue region in Figure 1 as well, adding some diversity to the pre-training data.
소프트 샘플링: 이 경우 코퍼스의 다른 모든 예제를 제외하여 이진 가중치를 부여하는 대신 거리 메트릭에 따라 소프트 가중치를 할당합니다. 이렇게 하면 지속적인 pre-training을 통해 그림 1의 파란색 영역 외부의 샘플도 볼 수 있으므로 pre-training 데이터에 다양성을 더할 수 있습니다.
소프트 샘플링:이 경우 코퍼스의 다른 모든 예제를 제외하여 이진 가중치를 부여하는 대신 거리 메트릭에 따라 소프트 가중치를 할당합니다. 이렇게 하면 지속적인 사전 학습을 통해 그림 1의 파란색 영역 외부의 샘플도 볼 수 있으므로 사전 학습 데이터에 다양성을 더할 수 있습니다.