position, and the input for the second forward pass incorporates some of the predicted tokens from the first pass. In determining which tokens to replace, we employ a sampling strategy characterized by the parameter \(\tau\), representing temperature; a higher \(\tau\) introduces more randomness. At lower temperatures, there is a higher likelihood of replacing tokens with their synonyms, as opposed to random replacement. MaskedLM. In our main experiments, we implement MFT by this method, adhering to the methodologies of prior Masked Language Models as (Bao et al., 2020; Devlin et al., 2019). Unlike encoder-based models (Devlin et al., 2019), which typically predict the current token at masked positions, we predict the next token at masked positions (Xie et al., 2016; Chen et al., 2023). Upon determining the positions for masking, we are presented with two options: employing a [mask] token or substituting with a random token. The probability of selecting the [mask] token is denoted by \(m\), and \(r\) represents the probability of opting for a random token. Su et al. (2022) set \(r\) to 0, while Devlin et al. (2019) set \(r\) to 0.1.
위치, 그리고 두 번째 순방향 패스를 위한 입력은 첫 번째 패스에서 예측된 토큰 중 일부를 통합합니다. 어떤 토큰을 대체할지 결정할 때, 온도를 나타내는 파라미터(\(\tau\))로 특징지어지는 샘플링 전략을 사용하며, \(\tau\)가 높을수록 무작위성이 더 많이 도입됩니다. 온도가 낮을수록 무작위로 토큰을 대체하는 대신 동의어로 토큰을 대체할 가능성이 높아집니다. MaskedLM. 주요 실험에서는 이 방법으로 MFT를 구현하여 (Bao et al., 2020; Devlin et al., 2019)의 이전 Masked Language Models의 방법론을 따릅니다. 일반적으로 마스크 위치에서 현재 토큰을 예측하는 Encoder 기반 모델(Devlin et al., 2019)과 달리, 우리는 마스크 위치에서 다음 토큰을 예측합니다(Xie et al., 2016; Chen et al., 2023). 마스킹할 위치를 결정하면 [mask] 토큰을 사용하거나 임의의 토큰으로 대체하는 두 가지 옵션이 제시됩니다. [mask] 토큰을 선택할 확률은 \(m\)으로 표시되며, \(r\)은 임의의 토큰을 선택할 확률을 나타냅니다. Su et al. (2022)은 \(r\)을 0으로 설정하고, Devlin et al. (2019)은 \(r\)을 0.1로 설정했습니다.
위치, 그리고 두 번째 순방향 패스를 위한 입력은 첫 번째 패스에서 예측된 토큰 중 일부를 통합합니다. 어떤 토큰을 대체할지 결정할 때, 온도를 나타내는 파라미터(\(\tau\))로 특징지어지는 샘플링 전략을 사용하며, \(\tau\)가 높을수록 무작위성이 더 많이 도입됩니다. 온도가 낮을수록 무작위로 토큰을 대체하는 대신 동의어로 토큰을 대체할 가능성이 높아집니다. 마스크LM. 주요 실험에서는 이 방법으로 MFT를 구현하여 (Bao et al., 2020; Devlin et al., 2019)의 이전 마스크 언어 모델의 방법론을 따릅니다. 일반적으로 마스크 위치에서 현재 토큰을 예측하는 인코더 기반 모델(Devlin et al., 2019)과 달리, 우리는 마스크 위치에서 다음 토큰을 예측합니다(Xie et al., 2016; Chen et al., 2023). 마스킹할 위치를 결정하면 [마스크] 토큰을 사용하거나 임의의 토큰으로 대체하는 두 가지 옵션이 제시됩니다. 마스크] 토큰을 선택할 확률은 \(m\)으로 표시되며, \(r\)은 임의의 토큰을 선택할 확률을 나타냅니다. Su et al. (2022)은 \(r\)을 0으로 설정하고, Devlin et al. (2019)은 \(r\)을 0.1로 설정했습니다.