The \(<\)\(|\)startofthought\(|>\) and \(<\)\(|\)endofthought\(|>\) tokens serve as learned meta-tokens that control the model's rationale generation. Optimizing the representation of these tokens, especially the \(<\)\(|\)startofthought\(|>\) token, is crucial but challenging due to the discrete nature of the rationale tokens. We initialize the start and end token embeddings to the embedding corresponding to the em dash, "---", which often appears in text data to denote a pause or thought. This leverages the language model's preexisting knowledge. In addition, to allow these embeddings to be optimized more quickly, we apply a (hyperparameter) weight to the gradients of these embeddings during the update step. Intuitively, the start thought tokens can be understood as putting the model into a "thinking mode" and the end thought token can be understood as telling the model when it's done thinking.
<\|\)startofthought\|> 및 <\|\)endofthought\|> tokens는 모델의 근거 생성을 제어하는 학습된 메타 tokens 역할을 합니다. 이러한 tokens, 특히 <\|\)startofthought\|> token의 표현을 최적화하는 것은 매우 중요하지만 근거 tokens의 불연속적인 특성으로 인해 어려운 작업입니다. 시작 및 끝 token embeddings는 텍스트 데이터에 일시 정지 또는 생각을 나타내기 위해 자주 나타나는 em dash "---"에 해당하는 embedding으로 초기화합니다. 이는 언어 모델의 기존 지식을 활용합니다. 또한 이러한 embeddings를 더 빠르게 최적화할 수 있도록 업데이트 단계에서 이러한 embeddings의 gradients에 (하이퍼파라미터) 가중치를 적용합니다. 직관적으로 시작 생각 tokens는 모델을 "생각 모드"로 전환하는 것으로 이해할 수 있으며, 끝 생각 token은 모델이 생각을 마쳤다는 것을 알리는 것으로 이해할 수 있습니다.
<\|\)startofthought\|> 및 <\|\)endofthought\|> 토큰은 모델의 근거 생성을 제어하는 학습된 메타 토큰 역할을 합니다. 이러한 토큰, 특히 \(<\)\(|\)startofthought\(|>\) 토큰의 표현을 최적화하는 것은 매우 중요하지만 근거 토큰의 불연속적인 특성으로 인해 어려운 작업입니다. 시작 및 끝 토큰 임베딩은 텍스트 데이터에 일시 정지 또는 생각을 나타내기 위해 자주 나타나는 에임 대시 "---"에 해당하는 임베딩으로 초기화합니다. 이는 언어 모델의 기존 지식을 활용합니다. 또한 이러한 임베딩을 더 빠르게 최적화할 수 있도록 업데이트 단계에서 이러한 임베딩의 그라디언트에 (하이퍼파라미터) 가중치를 적용합니다. 직관적으로 시작 생각 토큰은 모델을 "생각 모드"로 전환하는 것으로 이해할 수 있으며, 끝 생각 토큰은 모델이 생각을 마쳤다는 것을 알리는 것으로 이해할 수 있습니다.