performance still surpasses that of standard SFT (45.0, +3.4). Nonetheless, it exhibits lower performance compared to the computation of losses across all tokens (47.1, +5.5). Predicting the next tokens for masked positions poses a greater challenge than for unmasked ones, as they lack adjacent unmasked tokens from which to gather local information. This increased complexity ultimately improves the performance.
성능은 여전히 표준 SFT(45.0, +3.4)를 능가합니다. 그럼에도 불구하고, 모든 토큰에 대한 손실 계산과 비교했을 때는 낮은 성능을 보입니다(47.1, +5.5). 마스킹된 위치에 대한 다음 토큰을 예측하는 것은 인접한 마스킹되지 않은 토큰으로부터 지역 정보를 수집할 수 없기 때문에 마스킹되지 않은 위치보다 더 큰 도전 과제를 제시합니다. 이러한 증가된 복잡성은 궁극적으로 성능을 향상시킵니다.
성능은 여전히 표준 SFT(45.0, +3.4)를 능가합니다. 그럼에도 불구하고 모든 토큰에 걸친 손실 계산에 비해 성능이 떨어집니다(47.1, +5.5). 마스킹된 위치의 다음 토큰을 예측하는 것은 마스킹되지 않은 토큰에 비해 더 어려운 문제입니다. 마스킹되지 않은 토큰은 인접한 마스킹되지 않은 토큰에서 로컬 정보를 수집할 수 없기 때문입니다. 이러한 복잡성이 증가하면 궁극적으로 성능이 향상됩니다.