app.py

app.py

@@ -1,172 +1,192 @@
-import spaces
-import os
-import json
-import subprocess
-from llama_cpp import Llama
-from llama_cpp_agent import LlamaCppAgent, MessagesFormatterType
-from llama_cpp_agent.providers import LlamaCppPythonProvider
-from llama_cpp_agent.chat_history import BasicChatHistory
-from llama_cpp_agent.chat_history.messages import Roles
 import gradio as gr
-from huggingface_hub import hf_hub_download
 
+import os
 
-huggingface_token = os.getenv("HUGGINGFACE_TOKEN")
+from huggingface_hub.file_download import http_get
+from llama_cpp import Llama
 
-hf_hub_download(
-    repo_id="bartowski/gemma-2-9b-it-GGUF",
-    filename="gemma-2-9b-it-Q5_K_M.gguf",
-    local_dir="./models"
-)
+SYSTEM_PROMPT = "Tú eres ABI, un asistente automático de habla española. Hablas con las personas y las ayudas."
 
-hf_hub_download(
-    repo_id="bartowski/gemma-2-27b-it-GGUF",
-    filename="gemma-2-27b-it-Q5_K_M.gguf",
-    local_dir="./models"
-)
+def obtener_tokens_mensaje(modelo, rol, contenido):
+    contenido = f"{rol}\n{contenido}\n</s>"
+    contenido = contenido.encode("utf-8")
+    return modelo.tokenize(contenido, special=True)
 
-hf_hub_download(
-    repo_id="google/gemma-2-2b-it-GGUF",
-    filename="2b_it_v2.gguf",
-    local_dir="./models",
-    token=huggingface_token
-)
+def obtener_tokens_sistema(modelo):
+    mensaje_sistema = {"role": "system", "content": SYSTEM_PROMPT}
+    return obtener_tokens_mensaje(modelo, **mensaje_sistema)
 
+def cargar_modelo(
+    directorio: str = ".",
+    nombre_modelo: str = "ecastera/eva-mistral-7b-spanish-GGUF",
+    url_modelo: str = "https://huggingface.co/ecastera/eva-mistral-7b-spanish-GGUF/resolve/main/Turdus-trained-20-int4.gguf"
+):
+    ruta_modelo_final = os.path.join(directorio, nombre_modelo)
+    
+    print("Descargando todos los archivos...")
+    if not os.path.exists(ruta_modelo_final):
+        with open(ruta_modelo_final, "wb") as f:
+            http_get(url_modelo, f)
+    os.chmod(ruta_modelo_final, 0o777)
+    print("¡Archivos descargados!")
+    
+    modelo = Llama(
+        model_path=ruta_modelo_final,
+        n_ctx=2048
+    )
+    
+    print("¡Modelo cargado!")
+    return modelo
 
+MODELO = cargar_modelo()
 
-llm = None
-llm_model = None
+def usuario(mensaje, historial):
+    nuevo_historial = historial + [[mensaje, None]]
+    return "", nuevo_historial
 
-@spaces.GPU(duration=120)
-def respond(
-    message,
-    history: list[tuple[str, str]],
-    model,
-    system_message,
-    max_tokens,
-    temperature,
+def bot(
+    historial,
+    prompt_sistema,
     top_p,
     top_k,
-    repeat_penalty,
+    temp
 ):
-    chat_template = MessagesFormatterType.GEMMA_2
+    modelo = MODELO
+    tokens = obtener_tokens_sistema(modelo)[:]
+
+    for mensaje_usuario, mensaje_bot in historial[:-1]:
+        tokens_mensaje = obtener_tokens_mensaje(modelo=modelo, rol="usuario", contenido=mensaje_usuario)
+        tokens.extend(tokens_mensaje)
+        if mensaje_bot:
+            tokens_mensaje = obtener_tokens_mensaje(modelo=modelo, rol="bot", contenido=mensaje_bot)
+            tokens.extend(tokens_mensaje)
+
+    ultimo_mensaje_usuario = historial[-1][0]
+    tokens_mensaje = obtener_tokens_mensaje(modelo=modelo, rol="usuario", contenido=ultimo_mensaje_usuario)
+    tokens.extend(tokens_mensaje)
+
+    tokens_rol = modelo.tokenize("bot\n".encode("utf-8"), special=True)
+    tokens.extend(tokens_rol)
+    generador = modelo.generate(
+        tokens,
+        top_k=top_k,
+        top_p=top_p,
+        temp=temp
+    )
 
-    global llm
-    global llm_model
-    
-    if llm is None or llm_model != model:
-        llm = Llama(
-            model_path=f"models/{model}",
-            flash_attn=True,
-            n_gpu_layers=81,
-            n_batch=1024,
-            n_ctx=8192,
+    texto_parcial = ""
+    for i, token in enumerate(generador):
+        if token == modelo.token_eos():
+            break
+        texto_parcial += modelo.detokenize([token]).decode("utf-8", "ignore")
+        historial[-1][1] = texto_parcial
+        yield historial
+
+with gr.Blocks(
+    theme=gr.themes.Soft()
+) as demo:
+    favicon = '<img src="" width="48px" style="display: inline">'
+    gr.Markdown(
+        f"""<h1><center>{favicon}Saiga Mistral 7B GGUF Q4_K</center></h1>
+        Esta es una demo de un modelo basado en Mistral que habla español
+        """
+    )
+    with gr.Row():
+        with gr.Column(scale=5):
+            prompt_sistema = gr.Textbox(label="Prompt del sistema", placeholder="", value=SYSTEM_PROMPT, interactive=False)
+            chatbot = gr.Chatbot(label="Diálogo", height=400)
+        with gr.Column(min_width=80, scale=1):
+            with gr.Tab(label="Parámetros de generación"):
+                top_p = gr.Slider(
+                    minimum=0.0,
+                    maximum=1.0,
+                    value=0.9,
+                    step=0.05,
+                    interactive=True,
+                    label="Top-p",
+                )
+                top_k = gr.Slider(
+                    minimum=10,
+                    maximum=100,
+                    value=30,
+                    step=5,
+                    interactive=True,
+                    label="Top-k",
+                )
+                temp = gr.Slider(
+                    minimum=0.0,
+                    maximum=2.0,
+                    value=0.01,
+                    step=0.01,
+                    interactive=True,
+                    label="Temperatura"
+                )
+    with gr.Row():
+        with gr.Column():
+            msg = gr.Textbox(
+                label="Enviar mensaje",
+                placeholder="Enviar mensaje",
+                show_label=False,
+            )
+        with gr.Column():
+            with gr.Row():
+                submit = gr.Button("Enviar")
+                stop = gr.Button("Detener")
+                clear = gr.Button("Limpiar")
+    with gr.Row():
+        gr.Markdown(
+            """ADVERTENCIA: El modelo puede generar textos que sean incorrectos fácticamente o inapropiados éticamente. No nos hacemos responsables de esto."""
         )
-        llm_model = model
-
-    provider = LlamaCppPythonProvider(llm)
 
-    agent = LlamaCppAgent(
-        provider,
-        system_prompt=f"{system_message}",
-        predefined_messages_formatter_type=chat_template,
-        debug_output=True
+    # Presionando Enter
+    evento_enviar = msg.submit(
+        fn=usuario,
+        inputs=[msg, chatbot],
+        outputs=[msg, chatbot],
+        queue=False,
+    ).success(
+        fn=bot,
+        inputs=[
+            chatbot,
+            prompt_sistema,
+            top_p,
+            top_k,
+            temp
+        ],
+        outputs=chatbot,
+        queue=True,
     )
-    
-    settings = provider.get_provider_default_settings()
-    settings.temperature = temperature
-    settings.top_k = top_k
-    settings.top_p = top_p
-    settings.max_tokens = max_tokens
-    settings.repeat_penalty = repeat_penalty
-    settings.stream = True
-
-    messages = BasicChatHistory()
-
-    for msn in history:
-        user = {
-            'role': Roles.user,
-            'content': msn[0]
-        }
-        assistant = {
-            'role': Roles.assistant,
-            'content': msn[1]
-        }
-        messages.add_message(user)
-        messages.add_message(assistant)
-    
-    stream = agent.get_chat_response(
-        message,
-        llm_sampling_settings=settings,
-        chat_history=messages,
-        returns_streaming_generator=True,
-        print_output=False
+
+    # Presionando el botón
+    evento_click_enviar = submit.click(
+        fn=usuario,
+        inputs=[msg, chatbot],
+        outputs=[msg, chatbot],
+        queue=False,
+    ).success(
+        fn=bot,
+        inputs=[
+            chatbot,
+            prompt_sistema,
+            top_p,
+            top_k,
+            temp
+        ],
+        outputs=chatbot,
+        queue=True,
     )
-    
-    outputs = ""
-    for output in stream:
-        outputs += output
-        yield outputs
-
-description = """<p align="center">Defaults to 2B (you can switch to 9B or 27B from additional inputs)</p>
-<p><center>
-<a href="https://huggingface.co/google/gemma-2-27b-it" target="_blank">[27B it Model]</a>
-<a href="https://huggingface.co/google/gemma-2-9b-it" target="_blank">[9B it Model]</a>
-<a href="https://huggingface.co/google/gemma-2-2b-it" target="_blank">[2B it Model]</a>
-<a href="https://huggingface.co/bartowski/gemma-2-27b-it-GGUF" target="_blank">[27B it Model GGUF]</a>
-<a href="https://huggingface.co/bartowski/gemma-2-9b-it-GGUF" target="_blank">[9B it Model GGUF]</a>
-<a href="https://huggingface.co/google/gemma-2-2b-it-GGUF" target="_blank">[2B it Model GGUF]</a>
-</center></p>
-"""
-
-demo = gr.ChatInterface(
-    respond,
-    additional_inputs=[
-        gr.Dropdown([
-                'gemma-2-9b-it-Q5_K_M.gguf',
-                'gemma-2-27b-it-Q5_K_M.gguf',
-                '2b_it_v2.gguf'
-            ],
-            value="2b_it_v2.gguf",
-            label="Model"
-        ),
-        gr.Textbox(value="You are a helpful assistant.", label="System message"),
-        gr.Slider(minimum=1, maximum=4096, value=2048, step=1, label="Max tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(
-            minimum=0.1,
-            maximum=1.0,
-            value=0.95,
-            step=0.05,
-            label="Top-p",
-        ),
-        gr.Slider(
-            minimum=0,
-            maximum=100,
-            value=40,
-            step=1,
-            label="Top-k",
-        ),
-        gr.Slider(
-            minimum=0.0,
-            maximum=2.0,
-            value=1.1,
-            step=0.1,
-            label="Repetition penalty",
-        ),
-    ],
-    retry_btn="Retry",
-    undo_btn="Undo",
-    clear_btn="Clear",
-    submit_btn="Send",
-    title="Chat with Gemma 2 using llama.cpp", 
-    description=description,
-    chatbot=gr.Chatbot(
-        scale=1, 
-        likeable=False,
-        show_copy_button=True
+
+    # Detener generación
+    stop.click(
+        fn=None,
+        inputs=None,
+        outputs=None,
+        cancels=[evento_enviar, evento_click_enviar],
+        queue=False,
     )
-)
 
-if __name__ == "__main__":
-    demo.launch()
+    # Limpiar historial
+    clear.click(lambda: None, None, chatbot, queue=False)
+
+demo.queue(max_size=128)
+demo.launch()