A key challenge in Quiet-STaR is efficiently generating rationales at each token position in the input sequence. Naively, this would require a separate forward pass for each token, which becomes computationally intractable for long sequences.
Quiet-STaR의 주요 과제는 입력 시퀀스의 각 token 위치에서 합리적인 근거를 효율적으로 생성하는 것입니다. 순진하게 생각하면 각 token에 대해 별도의 forward pass가 필요하지만, 이는 긴 시퀀스의 경우 계산적으로 난해해집니다.
Quiet-STaR의 주요 과제는 입력 시퀀스의 각 토큰 위치에서 합리적인 근거를 효율적으로 생성하는 것입니다. 순진하게 생각하면 각 토큰에 대해 별도의 순방향 패스가 필요하지만, 이는 긴 시퀀스의 경우 계산적으로 난해해집니다.