We allow for highly parallel generation by first observing that an inference pass of a language model produces a probability distribution over the next tokens for all input tokens. Naturally, this allows us to sample one next token from each token in the input. If one has generated a successor from each token, it is not possible to simply continue with the original sequence. For example, imagine predicting the next token after each token of "\(<bos>\) the cat sat" one might generate "yes orange saw down" - each successor by itself is a reasonable next token to a prefix of the sequence, but the list of tokens is a set of "counterfactual" continuations of these prefixes. We can, however, leverage these continuations to generate hidden thoughts for each observed token.
우리는 먼저 언어 모델의 추론 과정이 모든 입력 토큰에 대해 다음 토큰에 대한 확률 분포를 생성한다는 점을 관찰하여 고도로 병렬적인 생성을 허용합니다. 자연스럽게, 이는 입력의 각 토큰에서 하나의 다음 토큰을 샘플링할 수 있게 합니다. 각 토큰에서 후속 토큰을 생성한 경우, 원래 시퀀스를 단순히 계속하는 것은 불가능합니다. 예를 들어, "\(<bos>\) the cat sat"의 각 토큰 이후의 다음 토큰을 예측한다고 상상해보면 "yes orange saw down"을 생성할 수 있습니다. 각 후속 토큰은 시퀀스의 접두사에 대해 합리적인 다음 토큰이지만, 토큰 목록은 이러한 접두사의 "반사실적" 연속의 집합입니다. 그러나 우리는 이러한 연속을 활용하여 각 관찰된 토큰에 대한 숨겨진 생각을 생성할 수 있습니다.
먼저 언어 모델의 추론 패스가 모든 입력 토큰에 대해 다음 토큰에 대한 확률 분포를 생성한다는 사실을 관찰하여 고도로 병렬화된 생성을 허용합니다. 당연히 이를 통해 입력의 각 토큰에서 하나의 다음 토큰을 샘플링할 수 있습니다. 각 토큰에서 후속 토큰을 생성한 경우 원래 시퀀스를 계속 사용할 수 없습니다. 예를 들어, "(the cat sat)의 각 토큰 뒤에 다음 토큰을 예측할 때 "yes orange saw down"을 생성할 수 있는데, 각 후속 토큰은 그 자체로 시퀀스 접두사에 대한 합리적인 다음 토큰이지만 토큰 목록은 이러한 접두사의 "반드시" 연속입니다. 그러나 이러한 연속성을 활용하여 관찰된 각 토큰에 대한 숨겨진 생각을 생성할 수 있습니다.