fixe

Dockerfile

@@ -1,17 +1,29 @@
 # Utiliser l'image officielle d'Ollama comme base
 FROM ollama/ollama
 
-# Exposer le port 11434
-EXPOSE 11434
+# Installer Python et pip
+RUN apt-get update && apt-get install -y python3 python3-pip
+
+# Copier les fichiers de l'application
+COPY app.py /app/app.py
+COPY requirements.txt /app/requirements.txt
+
+# Installer les dépendances Python
+RUN pip3 install -r /app/requirements.txt
+
+# Exposer le port 7860 pour FastAPI
+EXPOSE 7860
 
 # Définir le volume pour les données d'Ollama
 VOLUME /root/.ollama
 
-# Commande pour démarrer Ollama
-CMD ["ollama", "serve"]
-
-# Script pour exécuter llama3 après le démarrage du conteneur
-RUN echo '#!/bin/sh\nollama run llama3' > /run-llama3.sh && chmod +x /run-llama3.sh
+# Script pour télécharger le modèle Llama, exécuter Ollama et FastAPI
+RUN echo '#!/bin/sh\n\
+ollama serve &\n\
+sleep 10\n\
+ollama pull llama2\n\
+python3 /app/app.py\n\
+' > /run-ollama-fastapi.sh && chmod +x /run-ollama-fastapi.sh
 
-# Définir le point d'entrée pour exécuter Ollama et llama2
-ENTRYPOINT ["/bin/sh", "-c", "/run-llama3.sh & ollama serve"]
+# Définir le point d'entrée
+ENTRYPOINT ["/bin/sh", "/run-ollama-fastapi.sh"]

app.py

@@ -1,58 +1,85 @@
-import gradio as gr
-from transformers import AutoModelForCausalLM, AutoTokenizer
+from fastapi import FastAPI, HTTPException, status, UploadFile, File
+from pydantic import BaseModel
+import uvicorn
+import logging
 import os
-# Configuration du modèle et du tokenizer
-
-# Accéder à une variable d'environnement 
-access_token = os.getenv('MODEL_Token')
-# Load model directly
-# tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1",token=access_token)
-# model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1",token=access_token)
-model_name = "camembert/camembert-base"  # Remplacez par le modèle souhaité
-tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForCausalLM.from_pretrained(model_name)
-
-default_prompt = """Bonjour,
-en tant qu’expert dans la gestion et le traitement de plaintes réseaux chez un opérateur de télécommunications, fais moi un descriptif clair de la situation concernant la plainte dont les informations sont fournies plus bas dans ce message. Ecris la situation en 4 ou 5 phrases claires et concises, fais comme si tu parlais à un humain et rajoutes les informations relatives au Client pour une meilleure connaissance de ce dernier ainsi que des éléments de dates/délais pour être précis sur le traitement de la plainte. N’hésites pas à innover sur le ton à utiliser car n’oublies pas que tu dois faire comme si tu parlais à un humain. Ce ton peut être adapté et ne pas toujours être le même en fonction des cas.
-Pour m’éviter de lire tout le détail de la plainte (voir le texte partagé plus bas), essayes de trouver toutes les informations utiles permettant de mieux appréhender la situation, par exemple : si les coordonnées GPS (Lat, Lon) sont disponibles essayes de m'indiquer le lieu où est survenue la plainte même de manière approximative. Essayes également de glaner sur internet toutes les informations pouvant aider à mieux comprendre et traiter la plainte (cela peut inclure des informations des réseaux sociaux, des concurrents, etc.) tout en priorisant dans l’analyse les informations fournies dans le texte plus bas; informations qui ont été renseignées par les experts internes chez l’opérateur de télécommunications en question et qui sont structurées en plusieurs sections :
-a) Un titre de la plainte
-b) Une section avec les Détails de la Plainte contenant l’objet, le numéro client, l’expéditeur, la date de création, les coordonnées géographiques (lat, lon)
-c) Une section avec les états d’avancement incluant les échanges (sous format chat) entre les différents acteurs impliqués dans le traitement de la plainte
-d) Une section contenant les éléments relatifs à la qualification de la plainte (type de plainte, origine, domaine, sous-domaine, etc…)
-e) Une section avec les fichiers joints à la plainte et autres pièces jointes pour mieux comprendre et trouver une solution à cette plainte en vue de satisfaire le Client
-
-Dans la situation que tu vas me donner (en quelques 4 ou 5 phrases comme si tu t’adresses à un humain), assures toi que les points cruciaux (voire rédhibitoires) ci-dessous sont bien présents :
-1) Ecris la situation en 4 ou 5 phrases claires et concises, fais comme si tu parlais à un humain
-2) Rajoutes les informations relatives au Client pour être précis sur la connaissance de ce dernier.
-3) Rajoutes des éléments de dates (remontée, transfert, prise en charge, résolution, clôture, etc…) ainsi que les délais (par exemple de réponse des différents acteurs ou experts de la chaine de traitement) pour mieux apprécier l'efficacité du traitement de la plainte.
-4) Rajoutes à la fin une recommandation importante afin d'éviter le mécontentement du Client par exemple pour éviter qu’une Plainte ne soit clôturée sans solution pour le Client notamment et à titre illustratif seulement dans certains cas pour un Client qui a payé pour un service et ne l'a pas obtenu, On ne peut décemment pas clôturer sa plainte sans solution en lui disant d’être plus vigilant, il faut recommander à l’équipe en charge de la plainte de le rembourser ou de trouver un moyen de donner au Client le service pour lequel il a payé (à défaut de le rembourser).
-5) N’hésites pas à innover sur le ton à utiliser car n’oublies pas que tu dois faire comme si tu parlais à un humain. Ce ton peut être adapté et ne pas toujours être le même en fonction des cas.
+import requests
+from fastapi.middleware.cors import CORSMiddleware
+
+os.environ['TRANSFORMERS_CACHE'] = '/app/.cache'
+os.environ['HF_HOME'] = '/app/.cache'
+
+Informations = """ 
+-text : Texte à résumer 
+
+output:
+- Text summary : texte résumé
 """
 
-def summarize_complaint(raw_text):
+app = FastAPI(
+    title='Text Summary',
+    description=Informations
+)  
+
+logging.basicConfig(level=logging.INFO)
+logger = logging.getLogger(__name__)
+
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"],
+    allow_credentials=True,
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+DEFAULT_PROMPT = "Résumez la plainte suivante en 5 phrases concises, en vous concentrant sur les faits principaux et en évitant toute introduction générique : "
+
+class TextSummary(BaseModel): 
+    prompt: str 
+
+class RequestModel(BaseModel):
+    text: str
+
+OLLAMA_URL = "http://localhost:11434"  # URL d'Ollama dans le conteneur
+
+@app.get("/")
+async def home():
+    return 'STN BIG DATA'
+
+@app.post("/generate/")
+async def generate_text(request: RequestModel):
     try:
-        # Combiner le prompt et le texte brut
-        input_text = default_prompt + raw_text
+        full_prompt = DEFAULT_PROMPT + request.text
 
-        # Tokeniser le texte d'entrée
-        input_ids = tokenizer(input_text, return_tensors="pt", padding=True, truncation=True).input_ids
+        response = requests.post(f"{OLLAMA_URL}/api/generate", json={
+            "prompt": full_prompt,
+            "stream": False,
+            "model": "llama3"
+        })
+        
+        if response.status_code != 200:
+            raise HTTPException(status_code=response.status_code, detail="Erreur de l'API Ollama")
 
-        # Générer le texte avec le modèle
-        outputs = model.generate(input_ids, max_length=500, num_beams=4, early_stopping=True)
-        generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+        generated_text = response.json().get('response', '')
 
-        return generated_text
+        intro_phrases = [
+            "Voici un résumé de la plainte en 5 phrases :",
+            "Résumé :",
+            "Voici ce qui s'est passé :",
+            "Cette plainte a été déposée par"
+        ]
+        
+        for phrase in intro_phrases:
+            if generated_text.startswith(phrase):
+                generated_text = generated_text[len(phrase):].strip()
+                break
+
+        return {"summary_text_2": generated_text}
+
+    except requests.RequestException as e:
+        raise HTTPException(status_code=500, detail=f"Erreur de requête : {str(e)}")
     except Exception as e:
-        return str(e)
-
-# Création de l'interface Gradio
-interface = gr.Interface(
-    fn=summarize_complaint,
-    inputs=gr.Textbox(label="Texte brut de la plainte"),
-    outputs=gr.Textbox(label="Résumé généré"),
-    title="Résumé de Plaintes",
-    description="Entrez le texte brut d'une plainte pour obtenir un résumé généré par le modèle."
-)
+        raise HTTPException(status_code=500, detail=f"Erreur inattendue : {str(e)}")
 
 if __name__ == "__main__":
-    interface.launch()
+    uvicorn.run(app, host="0.0.0.0", port=7860)

requirements.txt

@@ -12,3 +12,4 @@ BeautifulSoup4==4.12.3
 protobuf
 ollama
 requests
+sentencepiece