metadata
library_name: transformers
tags: []
llava-jp-LoRA-1.3b-v1.1-Dog Model Card
このモデルはLLaVA-JP-13b-v1.1からLoRAを作成し、画像に写っている犬の気持ちをなんとなくで言語化するモデルです。
精度は信頼できません。
使い方
当モデルはdensenet121-dog-emotionsと一緒に使うことを前提にしています。
from transformers.generation.streamers import TextStreamer
from llava.constants import DEFAULT_IMAGE_TOKEN, IMAGE_TOKEN_INDEX
from llava.conversation import conv_templates, SeparatorStyle
from llava.model.llava_gpt2 import LlavaGpt2ForCausalLM
from llava.train.arguments_dataclass import ModelArguments, DataArguments, TrainingArguments
from llava.train.dataset import tokenizer_image_token
import transformers
model = LlavaGpt2ForCausalLM.from_pretrained(
llava_jp_name,
low_cpu_mem_usage=True,
use_safetensors=True,
torch_dtype=torch_dtype,
device_map=device,
)
tokenizer = transformers.AutoTokenizer.from_pretrained(
llava_jp_name,
model_max_length=1532,
padding_side="right",
use_fast=False,
)
model.eval()
# プロンプトモード設定（V1）
conv_mode = "v1"
conv = conv_templates[conv_mode].copy()