This setting can be made _autoregressive_ by generating sequences step by step, using the preceding output as the next input. We can think of each successive pair of tokens as of the pairs \((i,j)\) above, with the only difference that the marginal distribution \(p(i)\) changes. We thus will make no assumptions on \(p(i)\) in what follows (except for a mild technical condition). Proofs can be found in Appendix D.
이 설정은 이전 출력을 다음 입력으로 사용하여 단계별로 시퀀스를 생성함으로써 _autoregressive_으로 만들 수 있습니다. 우리는 각 연속되는 토큰 쌍을 위의 쌍 \((i,j)\)로 생각할 수 있으며, 유일한 차이점은 한계 분포 \(p(i)\)가 바뀐다는 것입니다. 따라서 다음에서는 (가벼운 기술적 조건을 제외하고) \(p(i)\)에 대해 어떠한 가정도 하지 않을 것입니다. 증명은 부록 D에서 확인할 수 있습니다.
이 설정은 이전 출력을 다음 입력으로 사용하여 단계별로 시퀀스를 생성함으로써 _자기 회귀적_으로 만들 수 있습니다. 우리는 각 연속되는 토큰 쌍을 위의 쌍 \((i,j)\)로 생각할 수 있으며, 유일한 차이점은 한계 분포 \(p(i)\)가 바뀐다는 것입니다. 따라서 다음에서는 (가벼운 기술적 조건을 제외하고) \(p(i)\)에 대해 어떠한 가정도 하지 않을 것입니다. 증명은 부록 D에서 확인할 수 있습니다.