Recently, a growing body of work has demonstrated the usefulness of custom tokens optimized to perform specific functions in the context of a neural network - for this reason, they have also been referred to as "function vectors." (Todd et al., 2023). One of the original instantiations of this was prompt-tuning (Lester et al., 2021) (and relatedly prefix-tuning (Li and Liang, 2021)), where the embeddings corresponding to the tokens of a prompt could be optimized to better accomplish a task. Others have applied meta-tokens to compress long prompts (Li et al., 2023; Jung and Kim, 2023) for efficiency. Most relevant to this work, Mu et al. (2024) optimized a token such that, when the tokens after it could not attend to the tokens before it (i.e., a context compression token), it would provide sufficient information to future tokens. Although we do not focus on compression, we share the problem of learning a token that affects attention and controls complex downstream behavior. In one related work, Goyal et al. (2023) show that learning a single "pause" token (essentially representing each token as two tokens) improves LM performance. However, unlike the thought tokens in our work, this pause token does not initialize a thought - instead, it can be seen as acting as the entirety of the thought. We find that reasoning in language is significantly more helpful.
최근에는 신경망의 맥락에서 특정 기능을 수행하도록 최적화된 사용자 지정 토큰의 유용성을 입증하는 연구가 증가하고 있으며, 이러한 이유로 "function vectors"라고도 불립니다. (Todd et al., 2023). 이를 구현한 최초의 사례 중 하나는 prompt-tuning (Lester et al., 2021)이며, 프롬프트의 토큰에 해당하는 임베딩을 최적화하여 작업을 더 잘 수행할 수 있습니다(그리고 이와 관련하여 prefix-tuning (Li와 Liang, 2021)). 다른 사람들은 메타 토큰을 적용하여 효율성을 위해 긴 프롬프트를 압축했습니다(Li et al., 2023; Jung과 Kim, 2023). 이 작업과 가장 관련이 있는 것은 Mu 등(2024)이 토큰 뒤에 있는 토큰이 앞에 있는 토큰에 주의를 기울일 수 없을 때(즉, context compression token) 미래의 토큰에 충분한 정보를 제공하도록 토큰을 최적화한 것입니다. 우리는 압축에 초점을 맞추지는 않지만, attention을 끌고 복잡한 다운스트림 동작을 제어하는 토큰을 학습하는 문제를 공유합니다. 관련 연구 중 하나인 Goyal 외(2023)는 단일 '일시 정지' 토큰을 학습하면(본질적으로 각 토큰을 두 개의 토큰으로 표현) LM 성능이 향상된다는 것을 보여주었습니다. 그러나 이 일시 정지 토큰은 저희 작업의 생각 토큰과 달리 생각을 초기화하지 않고, 대신 생각의 전체를 나타내는 역할을 하는 것으로 볼 수 있습니다. 우리는 언어로 추론하는 것이 훨씬 더 도움이 된다는 것을 발견했습니다.
최근에는 신경망의 맥락에서 특정 기능을 수행하도록 최적화된 사용자 지정 토큰의 유용성을 입증하는 연구가 증가하고 있으며, 이러한 이유로 "함수 벡터"라고도 불립니다. (Todd 외., 2023). 이를 구현한 최초의 사례 중 하나는 프롬프트 튜닝(Lester 외., 2021)이며, 프롬프트의 토큰에 해당하는 임베딩을 최적화하여 작업을 더 잘 수행할 수 있습니다(그리고 이와 관련하여 접두사 튜닝(Li와 Liang, 2021)). 다른 사람들은 메타 토큰을 적용하여 효율성을 위해 긴 프롬프트를 압축했습니다(Li et al., 2023; Jung과 Kim, 2023). 이 작업과 가장 관련이 있는 것은 Mu 등(2024)이 토큰 뒤에 있는 토큰이 앞에 있는 토큰에 주의를 기울일 수 없을 때(즉, 컨텍스트 압축 토큰) 미래의 토큰에 충분한 정보를 제공하도록 토큰을 최적화한 것입니다. 우리는 압축에 초점을 맞추지는 않지만, 주의를 끌고 복잡한 다운스트림 동작을 제어하는 토큰을 학습하는 문제를 공유합니다. 관련 연구 중 하나인 Goyal 외(2023)는 단일 '일시 정지' 토큰을 학습하면(본질적으로 각 토큰을 두 개의 토큰으로 표현) LM 성능이 향상된다는 것을 보여주었습니다. 그러나 이 일시 정지 토큰은 저희 작업의 생각 토큰과 달리 생각을 초기화하지 않고, 대신 생각의 전체를 나타내는 역할을 하는 것으로 볼 수 있습니다. 우리는 언어로 추론하는 것이 훨씬 더 도움이 된다는 것을 발견했습니다.