Neura Orca Gemma 7B

Model Description

Developed by: Neura company
Funded by: Neura
Model type: gemma7b
Language(s) (NLP): Persian
Finetuned from model: google/gemma-7b-it

Model Sources

Repository: https://huggingface.co/google/gemma-7b-it

Uses

Check out the Google Colab demo to run NeuraOrcaGemma7b on a free-tier Google Colab instance:

make sure these packages are installed:

!pip install --no-deps xformers accelerate bitsandbytes
!pip install -q -U transformers

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch
import os
MODEL_PATH = "Neurai/NeuraMedicalGemma7b"
quantization_config = BitsAndBytesConfig(
    load_in_4bit = True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    device_map = "auto",
    trust_remote_code = True,
    quantization_config=quantization_config,
)

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)

input_prompt = """
### Instruction:{}
### Input:{}
### Response:{}"""

input_text = input_prompt.format(
        "انگشت شصت دستم با درد باز میشود عکس ام آر آی هم گرفتم اثری از شکستگی نیست تشخیص تو چیه؟", 
        "", 
        ""
    )

inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
response = tokenizer.batch_decode(outputs)[0]

Generated text :

 بر اساس علائم و نتایج تصویربرداری،
 به نظر می‌رسد که شما ممکن است از سندرم تونل کارپال رنج ببرید.
 این وضعیت زمانی رخ می دهد که عصب مدیان در مچ دست شما فشرده یا فشرده می شود.
 در مورد شما، ممکن است که ضربه به انگشت شست شما باعث این فشردگی شده باشد. <eos>

More Information

https://neura.info

Model Card Authors

Esmaeil Zahedi, Mohsen Yazdinejad

Model Card Contact

[email protected]