Hugging Face's logo

GeorgeBredis
/
ruIdefics2-ruLLaVA-merged

Image-Text-to-Text
Transformers
Safetensors
Russian
idefics2
pretraining
multimodal
vision
Inference Endpoints
Model card Files Community
ruIdefics2-ruLLaVA-merged / README.md
GeorgeBredis's picture
GeorgeBredis
Update README.md
1a3ebe9 verified
preview code
|
raw
history blame
No virus
1.24 kB
metadata
library_name: transformers
pipeline_tag: image-text-to-text
datasets: Vikhrmodels/LLaVA-Instruct-ru
language:
  - ru
license: apache-2.0

Model Card for Model ID

Русскоязычная версия Idefics, обученная на русифицированном сабсете LLaVA. Первая версия: слабо развит возможность идти диалог и не работает нарезка изображения (LLaVA-Next like подход).

Обучение было в int4 с QLoRA на consumer-grade железе. В след итерациях планируется добавить больше данных и обучить на большем железе.

Скрипты для обучения/инференса добавлю позже.

Model Details

Model Description

This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.

  • Model type: ruIdefics2
  • Language(s) (NLP): Russian
  • License: Apache-2.0
  • Finetuned from model [optional]: Idefics2