fewer steps to converge. On the contrary, our method demands additional steps to reach a higher convergence value. This may be attributed to the exploration through masking, enabling us to gather new information from a limited dataset continually. Conversely, extending the training epochs for SFT introduces variability without yielding superior results. In our implementation details, we allow MFT to train for an extended number of epochs to ensure convergence of results as detailed in Tab. 8.
수렴하는 단계가 더 적습니다. 반대로, 우리의 방법은 더 높은 수렴 값에 도달하기 위해 추가 단계가 필요합니다. 이는 제한된 데이터 세트에서 새로운 정보를 지속적으로 수집할 수 있도록 마스킹을 통해 탐색할 수 있기 때문일 수 있습니다. 반대로 Supervised Fine-tuning (SFT)의 훈련 에포크를 연장하면 우수한 결과를 얻지 못하고 변동성이 발생합니다. 구현 세부 사항에서는 표 8에 자세히 설명된 대로 결과의 수렴을 보장하기 위해 MFT가 더 많은 에포크 동안 훈련할 수 있도록 허용합니다.
수렴하는 단계가 더 적습니다. 반대로, 우리의 방법은 더 높은 수렴 값에 도달하기 위해 추가 단계가 필요합니다. 이는 제한된 데이터 세트에서 새로운 정보를 지속적으로 수집할 수 있도록 마스킹을 통해 탐색할 수 있기 때문일 수 있습니다. 반대로 SFT의 훈련 에포크를 연장하면 우수한 결과를 얻지 못하고 변동성이 발생합니다. 구현 세부 사항에서는 표 8에 자세히 설명된 대로 결과의 수렴을 보장하기 위해 MFT가 더 많은 에포크 동안 훈련할 수 있도록 허용합니다.