モデル

サンプル

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


tokenizer = AutoTokenizer.from_pretrained(
    "ryota39/llm-jp-1b-sft-15k-dpo-12k"
    )
pad_token_id = tokenizer.pad_token_id

model = AutoModelForCausalLM.from_pretrained(
    "ryota39/llm-jp-1b-sft-15k-dpo-12k",
    device_map="auto",
    )

text = "###Input: 東京の観光名所を教えてください。\n###Output: "
tokenized_input = tokenizer.encode(
    text,
    add_special_tokens=False,
    return_tensors="pt"
    ).to(model.device)

attention_mask = torch.ones_like(tokenized_input)
attention_mask[tokenized_input == pad_token_id] = 0

with torch.no_grad():
    output = model.generate(
        tokenized_input,
        attention_mask=attention_mask,
        max_new_tokens=128,
        do_sample=True,
        top_p=0.95,
        temperature=0.8,
        repetition_penalty=1.0
    )[0]

print(tokenizer.decode(output))

出力例

###Input: 東京の観光名所を教えてください。
###Output: 東京にはたくさんの観光名所がある。東京は、東京スカイツリー、東京タワー、浅草、皇居など、多くの人気観光スポットがある。
日本の人気観光地としては、東京ディズニーランド、東京ディズニーシーなどがある。
東京には他にも、皇居、靖国神社、浅草寺などの有名な観光スポットがあります。
また、グルメ、ショッピング、エンターテインメントなど、さまざまなタイプの観光スポットがたくさんあります。
これらの観光スポットを回るには、電車、バス、飛行機、車など、さまざまな交通手段があります。東京には、東京タワー、東京ディズニーシー、

謝辞

本成果は【LOCAL AI HACKATHON #001】240時間ハッカソンの成果です。 運営の方々に深く御礼申し上げます。

  • 【メタデータラボ株式会社】様
  • 【AI声づくり技術研究会】
    • サーバー主:やなぎ(Yanagi)様
  • 【ローカルLLMに向き合う会】
    • サーバー主:saldra(サルドラ)様

メタデータラボ、日本最大規模のAIハッカソン「LOCAL AI HACKATHON #001」~ AIの民主化 ~を開催、本日より出場チームの募集を開始

Downloads last month
12
Safetensors
Model size
1.32B params
Tensor type
FP16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train ryota39/llm-jp-1b-sft-15k-dpo-12k

Collection including ryota39/llm-jp-1b-sft-15k-dpo-12k