File size: 1,452 Bytes
9d85127 5880944 9d85127 2ea1e34 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 |
import gradio as gr
from openai import OpenAI
import os
client = OpenAI(
base_url="https://integrate.api.nvidia.com/v1",
api_key=os.getenv('API_KEY')
)
def generate_response(message, history):
history_openai_format = []
for human, assistant in history:
history_openai_format.append({"role": "user", "content": human})
history_openai_format.append({"role": "assistant", "content": assistant})
history_openai_format.append({"role": "user", "content": message})
completion = client.chat.completions.create(
model="nvidia/nemotron-4-340b-instruct",
messages=history_openai_format,
temperature=0.2,
top_p=0.7,
max_tokens=1024,
stream=True
)
response = ""
for chunk in completion:
if chunk.choices[0].delta.content is not None:
response += chunk.choices[0].delta.content
yield response
iface = gr.ChatInterface(
generate_response,
title="NVIDIA Nemotron-4 Sohbet Arayüzü",
description="Bir soru girin ve NVIDIA'nın Nemotron-4 modeli tarafından üretilen yanıtı alın. Sohbet geçmişi korunacaktır.",
examples=[
"GPU hesaplamanın harikalarıyla ilgili bir limerick yazabilir misin?",
"Yapay zeka ve etik arasındaki ilişkiyi açıklayabilir misin?",
"Kuantum bilgisayarların geleceği hakkında ne düşünüyorsun?"
],
cache_examples=False
)
iface.launch() |