In this section, we declare the details about correlating the loss of selected tokens with the performance of downstream tasks. Concurrent study has explored similar methods to study the impact of scaling laws with the performance of models in downstream tasks [Gadre et al., 2024]. Our analysis here differs in that it aims to elucidate the relationship between the decrease/increase in loss for selected/unselected tokens and the model's performance on downstream tasks.
이 섹션에서는 선택된 토큰의 Loss와 다운스트림 작업의 성능을 상호 연관시키는 세부 사항을 선언합니다. 동시 연구에서는 다운스트림 작업에서 모델의 성능에 대한 Scaling laws의 영향을 연구하기 위해 유사한 방법을 탐구했습니다[Gadre et al., 2024]. 여기서 분석하는 방법은 선택된/선택되지 않은 토큰에 대한 Loss의 감소/증가와 다운스트림 작업에 대한 모델의 성능 사이의 관계를 설명하는 것을 목표로 한다는 점에서 차이가 있습니다.
이 섹션에서는 선택된 토큰의 손실과 다운스트림 작업의 성능을 상호 연관시키는 세부 사항을 선언합니다. 동시 연구에서는 다운스트림 작업에서 모델의 성능에 대한 스케일링 법칙의 영향을 연구하기 위해 유사한 방법을 탐구했습니다[Gadre et al., 2024]. 여기서 분석하는 방법은 선택된/선택되지 않은 토큰에 대한 손실의 감소/증가와 다운스트림 작업에 대한 모델의 성능 사이의 관계를 설명하는 것을 목표로 한다는 점에서 차이가 있습니다.