8B-on-GPU-ZERO / app.py
alex-abb's picture
Update app.py
3d76423 verified
raw
history blame
818 Bytes
import gradio as gr
from transformers import BlenderbotTokenizer, BlenderbotForConditionalGeneration
tokenizer = BlenderbotTokenizer.from_pretrained('facebook/blenderbot-8B')
model = BlenderbotForConditionalGeneration.from_pretrained("facebook/blenderbot-8B")
# Initialiser le générateur de texte avec GPT-2
# Optionnel : Fixer une graine aléatoire pour la reproductibilit
# Fonction de génération de texte
def generate_text(prompt):
inputs = tokenizer(text, return_tensors="pt")
response_ids = model.generate(inputs.input_ids)
response_text = tokenizer.decode(response_ids[0], skip_special_tokens=True)
return response_text
# Définir une fonction pour l'interface de chat
def chatbot(message,history):
return generate_text(message)
gr.ChatInterface(chatbot).launch()