1. We generalize STaR to learn reasoning from diverse unstructured text data. To our knowledge, this is the first work explicitly training LMs to **reason generally** from text, rather than on curated reasoning tasks or collections of reasoning tasks. 2. We propose and implement a **parallel sampling algorithm** that makes our training procedure scalable, generating rationales from all token positions in a given string. 3. We introduce custom **meta-tokens** at the start and end of each thought to allow the LM to learn that it should be generating a rationale and when it should make a prediction based on that rationale. 4. We apply a **mixing head** to retrospectively determine how much to incorporate the next-token prediction from a given thought into the current next-token prediction. 5. We show that a **non-myopic loss**, including multiple tokens ahead for language modeling, improves the effect of thinking. 6. On multiple tasks, we demonstrate that thinking allows the LM to predict difficult tokens better than one trained on the same web text, improving with longer thoughts.
1. 다양한 비정형 텍스트 데이터에서 추론을 학습하기 위해 STaR을 일반화합니다. 우리가 아는 한, 이것은 큐레이션된 추론 과제나 추론 과제 모음이 아닌 텍스트에서 **일반적으로 추론**하도록 LM을 명시적으로 훈련하는 최초의 작업입니다. 2. 주어진 문자열의 모든 토큰 위치에서 근거를 생성하는 확장 가능한 훈련 절차를 가능하게 하는 **parallel sampling algorithm**을 제안하고 구현했습니다. 3. 각 생각의 시작과 끝에 사용자 지정 **meta-tokens**을 도입하여 LM이 근거를 생성해야 하는 시점과 그 근거를 기반으로 예측을 해야 하는 시점을 학습할 수 있도록 합니다. 4. 주어진 생각에서 다음 토큰 예측을 현재 다음 토큰 예측에 얼마나 많이 통합해야 하는지 소급하여 결정하는 **mixing head**를 적용합니다. 5. 언어 모델링을 위해 여러 토큰을 앞당기는 **non-myopic loss**가 사고의 효과를 향상시킨다는 것을 보여줍니다. 6. 여러 작업에서 사고를 통해 LM이 동일한 웹 텍스트로 학습된 모델보다 어려운 토큰을 더 잘 예측할 수 있고, 생각이 길어질수록 개선된다는 것을 보여 줍니다.
1. 다양한 비정형 텍스트 데이터에서 추론을 학습하기 위해 STaR을 일반화합니다. 우리가 아는 한, 이것은 큐레이션된 추론 과제나 추론 과제 모음이 아닌 텍스트에서 **일반적으로 추론**하도록 LM을 명시적으로 훈련하는 최초의 작업입니다. 2. 2. 주어진 문자열의 모든 토큰 위치에서 근거를 생성하는 확장 가능한 훈련 절차를 가능하게 하는 **병렬 샘플링 알고리즘**을 제안하고 구현했습니다. 3. 각 생각의 시작과 끝에 사용자 지정 **메타 토큰**을 도입하여 LM이 근거를 생성해야 하는 시점과 그 근거를 기반으로 예측을 해야 하는 시점을 학습할 수 있도록 합니다. 4. 주어진 생각에서 다음 토큰 예측을 현재 다음 토큰 예측에 얼마나 많이 통합해야 하는지 소급하여 결정하는 **믹싱 헤드**를 적용합니다. 5. 언어 모델링을 위해 여러 토큰을 앞당기는 **비근시적 손실**이 사고의 효과를 향상시킨다는 것을 보여줍니다. 6. 여러 작업에서 사고를 통해 LM이 동일한 웹 텍스트로 학습된 모델보다 어려운 토큰을 더 잘 예측할 수 있고, 생각이 길어질수록 개선된다는 것을 보여 줍니다.