Add `<|eot_id|>` token (id: 128009) to `eos_token_id`

#1

(See also the PR with the same content in the 8B repository: https://huggingface.co/tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1/discussions/1 )

For ease of use, I propose adding the <|eot_id|> token (ID: 128009) to the eos_token_id in the generation_config.json file.

Usage によると、 Instruction モデルではデフォルトの EOS トークン以外に <|eot_id|> (id: 128009) でも止めるような設定で生成するように指定されているかと思います。

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)

meta-llama/Meta-Llama-3-8B-Instruct と同様、128009 を generation_conifg.json の eos_token_id に追加するとデフォルトで <|eot_id|> で生成処理が止まるようになって便利そうですが、いかがでしょうか?
VLLM でも現在は generation_config.json の eos_token_id を読み出せる仕様になっているようですので、実行時に stop="<|eot_id|>" を指定する必要がなくなります。
https://github.com/vllm-project/vllm/pull/4182

tokyotech-llm org

Takayamaさん修正のPRありがとうございます。mergeさせていただきます

Taishi-N324 changed pull request status to merged

Sign up or log in to comment