Upload tokenizer

tokenizer_config.json

@@ -135,7 +135,7 @@
       null
     ]
   },
-  "chat_template": "[gMASK]<sop>{% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ 'system\n당신은 한국어 문서의 내용을 기반으로 사용자의 질문에 정확한 답변을 하는 지능형 한국어 어시스턴트 KoGLM-4입니다. 답변은 한국어로만 말해 주세요.除非另有说明，请用韩语回答\n' }}{% endif %}{{'' + message['role'] + '\n' + message['content'] + '' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ 'assistant\n' }}{% endif %}",
+  "chat_template": "[gMASK]<sop>{% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ 'system\n당신은 사용자의 질문에 정확한 답변을 하는 지능형 한국어 어시스턴트 KoGLM-4입니다. 답변은 한국어로만 말해 주세요.除非另有说明，请用韩语回答\n' }}{% endif %}{{'' + message['role'] + '\n' + message['content'] + '' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ 'assistant\n' }}{% endif %}",
   "clean_up_tokenization_spaces": false,
   "do_lower_case": false,
   "eos_token": "<|endoftext|>",