To do this efficiently, we cache each forward pass and concatenate a diagonal attention mask to the previous attention mask: each generated token now attends to all of the tokens that were used to generate it, as well as to itself (but not to token on other "counterfactual" paths). Moreover, this parallelized next-sampling token procedure can be repeated arbitrarily many times (or at least, until one runs out of memory). We visualize this procedure in Figure 3 and highlight additional ways to make this algorithm faster in Appendix B.
이를 효율적으로 수행하기 위해 각 forward pass를 캐싱하고 이전 attention mask에 대각선 attention mask를 연결합니다. 이제 생성된 각 토큰은 자신뿐만 아니라 생성에 사용된 모든 토큰에 attention을 기울입니다(다른 "counterfactual" 경로의 토큰은 제외). 또한, 이 병렬화된 next-sampling token 절차는 임의로 여러 번 반복할 수 있습니다(또는 적어도 메모리가 부족할 때까지). 이 절차를 그림 3에 시각화하고 부록 B에서 이 알고리즘을 더 빠르게 만드는 추가 방법을 강조합니다.
이를 효율적으로 수행하기 위해 각 포워드 패스를 캐싱하고 이전 주의도 마스크에 대각선 주의도 마스크를 연결합니다. 이제 생성된 각 토큰은 자신뿐만 아니라 생성에 사용된 모든 토큰에 주의를 기울입니다(다른 "반사실적" 경로의 토큰은 제외). 또한, 이 병렬화된 다음 샘플링 토큰 절차는 임의로 여러 번 반복할 수 있습니다(또는 적어도 메모리가 부족할 때까지). 이 절차를 그림 3에 시각화하고 부록 B에서 이 알고리즘을 더 빠르게 만드는 추가 방법을 강조합니다.