replace mistral with llama

app.py

@@ -1,23 +1,21 @@
 import gradio as gr
 from textPreprocessing import text2prompt
-from transformers import AutoTokenizer, AutoModelForCausalLM
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
 import torch
 
-"""
-Необходимо раскомментить при досутпе к GPU
-
+model_id = 'openlm-research/open_llama_3b_v2'
 bnb_config = BitsAndBytesConfig(
     load_in_4bit=True,
     bnb_4bit_use_double_quant=True,
     bnb_4bit_quant_type="fp4",
     bnb_4bit_compute_dtype=torch.bfloat16
-)"""
+)
 
 model = AutoModelForCausalLM.from_pretrained(
-    "mistralai/Mistral-7B-Instruct-v0.1",
-    # quantization_config=bnb_config # Необходимо раскомментить при досутпе к GPU
+    model_id,
+    quantization_config=bnb_config # Необходимо раскомментить при досутпе к GPU
 )
-tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")
+tokenizer = AutoTokenizer.from_pretrained(model_id)
 
 def predict(input_text, t, m):
     """
@@ -38,7 +36,7 @@ def predict(input_text, t, m):
 gradio_app = gr.Interface(
     predict,
     inputs=gr.Textbox(
-        label="Входная новость", sources=['upload', 'webcam'], container=True,
+        label="Входная новость", container=True,
         lines=8, placeholder="Акции кредитного банка \"X\" обрушились в цене из-за дефолта по ипотечным кредитам"
     ),
     outputs=[gr.Label(label="Финансовая рекомендация на основе новости:")],

requirements.txt

@@ -1,2 +1,3 @@
 transformers
-torch
+torch
+install gradio_client