import os import time import spaces from threading import Thread import torch from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer import gradio as gr MODEL = "weblab-GENIAC/Tanuki-8B-dpo-v1.0" HF_TOKEN = os.environ.get("HF_TOKEN", None) TITLE = "

Tanuki-8B-dpo-v1.0

" DESCRIPTION = """

🦡 Tanuki 8B(weblab-GENIAC/Tanuki-8B-dpo-v1.0)は、 経産省及びNEDOが推進する日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて、松尾・岩澤研究室が開発・公開したLLMとなります。 本プロジェクトは松尾研が提供する大規模言語モデル講座（2023年9月開催、2,000名が受講）の修了生及び一般公募によって集まった有志の開発者（⺠間企業・研究者・学⽣で構成）が、最新の研究成果や技術的な知見を取り入れ、開発を行ったモデルです。

🤖 このデモでは、Tanuki 8Bとチャットを行うことが可能です。(注:フルバーションのTanuki 8x8Bではございません。)

📄 モデルの詳細については、プレスリリースをご覧ください。お問い合わせはこちらまでどうぞ。

関連サイト: GENIAC 松尾研 LLM開発プロジェクト

""" PLACEHOLDER = """
Tanuki-8B Image

Tanuki-8B

""" CSS = """ .duplicate-button { margin: auto !important; color: white !important; background: black !important; border-radius: 100vh !important; } h3 { text-align: center; } .model-description { padding: 0.5em 1em; margin: 2em 0; border-top: solid 5px #5d627b; box-shadow: 0 1px 1px rgba(0, 0, 0, 0.22); border-radius: 5px; } .model-description p { margin: 0; padding: 0; color: #5d627b; } .image-placeholder { text-align: center; display: flex; flex-direction: column; align-items: center; } .image-placeholder img { width: 100%; height: auto; opacity: 0.55; } .image-placeholder h1 { font-size: 28px; margin-bottom: 2px; opacity: 0.55; } """ tokenizer = AutoTokenizer.from_pretrained(MODEL) model = AutoModelForCausalLM.from_pretrained( MODEL, torch_dtype=torch.bfloat16, device_map="auto", ) print(model) @spaces.GPU() def stream_chat( message: str, history: list, system_prompt: str, temperature: float = 0.3, max_new_tokens: int = 1024, top_p: float = 1.0, top_k: int = 20, ): print(f'message: {message}') print(f'history: {history}') conversation = [ {"role": "system", "content": system_prompt} ] for prompt, answer in history: conversation.extend([ {"role": "user", "content": prompt}, {"role": "assistant", "content": answer}, ]) conversation.append({"role": "user", "content": message}) input_ids = tokenizer.apply_chat_template(conversation, add_generation_prompt=True, return_tensors="pt").to(model.device) streamer = TextIteratorStreamer(tokenizer, timeout=60.0, skip_prompt=True, skip_special_tokens=True) generate_kwargs = dict( input_ids=input_ids, max_new_tokens = max_new_tokens, do_sample = False if temperature == 0 else True, top_p = top_p, top_k = top_k, temperature = temperature, repetition_penalty = 1.05, streamer=streamer, ) with torch.no_grad(): thread = Thread(target=model.generate, kwargs=generate_kwargs) thread.start() buffer = "" for new_text in streamer: buffer += new_text yield buffer chatbot = gr.Chatbot(height=600, placeholder=PLACEHOLDER) with gr.Blocks(css=CSS, theme="soft") as demo: gr.HTML(TITLE) gr.DuplicateButton(value="Duplicate Space for private use", elem_classes="duplicate-button") gr.Markdown(DESCRIPTION) gr.ChatInterface( fn=stream_chat, chatbot=chatbot, fill_height=True, additional_inputs_accordion=gr.Accordion(label="⚙️ Parameters", open=True, render=False), additional_inputs=[ gr.Textbox( value="以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。", label="System Prompt", render=False, ), gr.Slider( minimum=0, maximum=1, step=0.1, value=0.3, label="Temperature", render=False, ), gr.Slider( minimum=128, maximum=8192, step=1, value=1024, label="Max new tokens", render=False, ), gr.Slider( minimum=0.0, maximum=1.0, step=0.1, value=1.0, label="top_p", render=False, ), gr.Slider( minimum=1, maximum=20, step=1, value=20, label="top_k", render=False, ), ], examples=[ ["日本で有名なものと言えば"], ["人工知能とは何ですか"], ["C言語で素数を判定するコードを書いて"], ["たぬきが主人公の物語を書いて"] ], cache_examples=False, ) if __name__ == "__main__": demo.launch()