''' 重要说明： 1. 需要确认import的包是否是requirements.txt中的版本，否则会出现不兼容的情况。 2. 在LAN中如何访问Gradio app: 1. 在Gradio中制定demo.launch(height='1500px', server_name="0.0.0.0", server_port=7860, auth=auth_list, auth_message="欢迎使用中交建财务共享中心企业大语言模型平台", share=False).queue() 2. 在另外一台电脑上，通过http://http://192.168.1.104:7860/ （其中http://192.168.1.104是Gradio的IP地址+端口来访问。 产品说明： 1. 采用大模型的核心功能 + 专属定制化功能的方式，来实现一个专属的大语言模型解决方案。 2. 在专属定制化功能中包含了报告模块、商业分析模块、培训资料模块。配置了专属的prompt，以及对应的模型参数。【话术：定制化的大模型接口 + 结构化的提示词工程 + 业务流】 3. 此版本可以支持多轮对话【注：目前强行限制在3轮以内】，但是会收到大模型基座的影响，目前是ChatGLM3-6B中的4096个token的限制。 Theme默认设置为Dark： 1. css = """ #mybutton {background-color: #CEFAFE; color: #06B6D4;} #textarea {-webkit-text-fill-color:black; -webkit-opacity: 1;} .message {font: 16px Arial, sans-serif, 'ui-sans-serif', Montserrat, 'system-ui';} """ 2. with gr.Blocks(theme=gr.themes.Base(primary_hue='sky', text_size='md'), css=css, title="大语言模型专项模块", js=js_func) as demo: ''' ##TODO 1. 将LLM改成公网Qwen API版本。 import gradio as gr import requests import os from rich import print import os import sys import time import pandas as pd import numpy as np import sys import time import PyPDF2 from PyPDF2 import PdfReader import docx ## 需要安装python-docx，否则会报错。 from typing import Any import requests import csv import os from rich import print import pandas import io from io import StringIO from transformers import AutoModel, AutoTokenizer import mdtex2html import dashscope from dotenv import load_dotenv from http import HTTPStatus from dashscope import Generation load_dotenv() ### 设置openai的API key dashscope.api_key = os.environ['dashscope_api_key'] ### Gradio设置为默认Dark js_func = """ function refresh() { const url = new URL(window.location); if (url.searchParams.get('__theme') !== 'dark') { url.searchParams.set('__theme', 'dark'); window.location.href = url.href; } } """ # ''' Start: Environment settings. ''' # os.environ['SENTENCE_TRANSFORMERS_HOME'] = '/Users/yunshi/Downloads/chatGLM/My_LocalKB_Project/' # os.environ["PYTORCH_ENABLE_MPS_FALLBACK"] = "1" # # import PyPDF4 # # from PyPDF4 import PdfFileReader # import torch # mps_device = torch.device("mps") ## 在mac机器上需要加上这句。 ### 在langchain中定义chatGLM作为LLM。 from typing import Any, List, Mapping, Optional from langchain.callbacks.manager import CallbackManagerForLLMRun from langchain.llms.base import LLM from transformers import AutoTokenizer, AutoModel # llm_filepath = str("/Users/yunshi/Downloads/chatGLM/ChatGLM3-6B/6B") ## 第三代chatGLM 6B W/ code-interpreter ## 在ChatGLM3-6B中成功部署。 # class chatGLM(): # def __init__(self, model_name) -> None: # self.tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) # # self.model = AutoModel.from_pretrained(model_name, trust_remote_code=True).half().cuda().eval() ##PC CUDA机器上用。 # self.model = AutoModel.from_pretrained(model_name, trust_remote_code=True).half().to('mps') ##Mac机器上用。 # def __call__(self, prompt) -> Any: # # response, _ = self.model.chat(self.tokenizer , prompt) # 这里演示未使用流式接口. stream_chat() # response, _ = self.model.stream_chat(self.tokenizer, prompt) # 尝试用stream_chat() # return response # chatglm = chatGLM(model_name=llm_filepath) ''' End: Environment settings. ''' # ''' Start: 以下加载本地知识的核心内容。''' # from langchain.document_loaders import UnstructuredFileLoader # from langchain.text_splitter import CharacterTextSplitter # # from langchain.embeddings.openai import OpenAIEmbeddings # from langchain.embeddings.huggingface import HuggingFaceEmbeddings # from langchain.vectorstores import FAISS # ## 加载文件 # filepath = "/Users/yunshi/Downloads/txt_dir/Sparks_of_AGI.pdf" # # filepath = "/Users/yunshi/Downloads/txt_dir/浙江省院前急救质控统计指标.pdf" # loader = UnstructuredFileLoader(filepath) # docs = loader.load() # ## 文本分割 # # text_splitter = CharacterTextSplitter(chunk_size=5000, chunk_overlap=200) # docs = CharacterTextSplitter(chunk_size=5000, chunk_overlap=200).split_documents(docs) # ## 创建向量数据库 # # embeddings = OpenAIEmbeddings(disallowed_special=()) # embedding_model_name = 'GanymedeNil/text2vec-large-chinese' # # embeddings = HuggingFaceEmbeddings(model_name=embedding_model_name) ## 这里是联网情况下连接huggingface后使用。 # embeddings = HuggingFaceEmbeddings(model_name='/Users/yunshi/Downloads/chatGLM/My_LocalKB_Project/GanymedeNil_text2vec-large-chinese/') ## 这里会有个“No sentence-transformers model found with name“的warning，但不是error，不影响使用。 # ### 比较的中文embeddding之一。 # # from text2vec import SentenceModel # # embeddings = SentenceModel('shibing624/text2vec-base-chinese-sentence', device=mps_device) # # embeddings = HuggingFaceEmbeddings() # vector_store = FAISS.from_documents(docs, embeddings) # '''End: 至此本地加载知识库过程完成。''' # ### 读取教材资料，docx文档 # doc = docx.Document("./sample.docx") # mytext = "" # for paragraph in doc.paragraphs: # mytext += paragraph.text # ### 在工作台展示一部分内容 # showtext = "" # for paragraph in doc.paragraphs[:12]: # showtext += paragraph.text # print(showtext) ## 一键生成培训资料的环境设定 # training_content = mytext.replace("['", "").replace("']", "") # generate_message = gr.Textbox(f"""你是一个专业的培训材料制作者。我需要你根据提供的内容生成培训材料，内容如下:{training_content}""", visible=False) #! 注意这里的type，不能是简单的str。 # system_prompt_message = """你是一个专业的培训材料制作者。我需要你根据提供的内容生成培训材料，内容如下:""" # system_prompt = [{"role": "system", "content": f"""{system_prompt_message} {training_content}"""}] # print('system_prompt:', system_prompt) # prompt_templates = {"Default ChatGPT": ""} ### set an empty state in Gradio. def get_empty_state(): return {"total_tokens": 0, "messages": []} ## 重新生成对话，regenerate功能的核心，主要是将最后一次chatbot的回答清空。 # def reload(chatbot): def regenerate(chatbot): chatbot[-1][1] = "" #! 清空最后一次的回答。 return chatbot ## system prompt for LLM system_prompt = [{"role": "system", "content": '你是一个专业和友好的AI助手。除非被要求，否则你默认的回答语言是中文。'}] ### 手动添加prompt templates。 # prompt_templates = { # '默认角色': "你是一个专业的人工智能助手。", # '周报写作': "使用下面提供的文本作为中文周报的基础，生成一个简洁的摘要，突出最重要的内容。该报告应以 markdown 格式编写，并应易于阅读和理解，以满足一般受众的需要。特别是要注重提供对利益相关者和决策者有用的见解和分析。你也可以根据需要使用任何额外的信息或来源。", # '写作建议': "我希望你能充当一名人工智能写作导师。我将为你提供一个需要帮助提高写作水平的学生，你的任务是使用人工智能工具，如自然语言处理，给学生反馈如何提高他们的写作水平。你还应该利用你的修辞学知识和关于有效写作技巧的经验，以建议该学生如何以书面形式更好地表达他们的思想和观点。我的第一个要求是 [修改文本]", # } ### 导入收集到的有用prompts。 raw_prompts = pd.read_excel("./raw_prompts.xlsx", usecols=['category','prompt'], index_col='category') prompt_templates = raw_prompts.to_dict()['prompt'] def on_prompt_template_change(prompt_template): if not isinstance(prompt_template, str): return # print(prompt_template) return prompt_templates[prompt_template] chat_hist = [] def submit_message(radio, chatbot_history, temperature, max_tokens,top_p,presence_penalty): ## working. # input_prompt = chatbot_history ## 单轮对话 working。 input_prompt = chatbot_history ## working。支持多轮对话。 print("input_prompt", input_prompt) ###NOTE: 保留3次历史记录，原生ChatGPT的上下文也只能到这里了。 ### 只把三次历史记录放入prompt中，这样可以保留三轮对话的历史。 prompt = [] if len(input_prompt) > 3: for x in input_prompt[-3:]: prompt.append(x) else: prompt = input_prompt prompt = [item for sublist in prompt for item in sublist if item is not None] prompt = '。'.join(prompt) print('prompt now is:', prompt) print('start the default version of Qwen') ## Role的范式。 # prompt_msg = {"role": "user", "content": prompt} # system_prompt = [{"role": "system", "content": '你是一个专业和友好的AI助手。'}] try: ## no stream version. # completion_1 = openai.ChatCompletion.create(model="gpt-3.5-turbo",messages=system_prompt + [prompt_msg], temperature=0.7, max_tokens=1024) # history.append(prompt_msg) # history.append(completion_1.choices[0].message.to_dict()) # print('completion_1:',completion_1.choices[0].message.content) # # state['total_tokens'] += completion_1['usage']['total_tokens'] # messages = system_prompt + [prompt_msg] # input_prompt[-1][1] = "" # openai_client = OpenAI() # for resp in openai_client.chat.completions.create(model=model_choice, messages=messages, stream=True, temperature=temperature, max_tokens=max_tokens,top_p=top_p,presence_penalty=presence_penalty): # answer = str(resp.choices[0].delta.content) # if answer != "None": # ##NOTE: 这里是单论聊天的版本。 # # resp_history.append(answer) #* working！ # # result = "".join(resp_history).strip() #* working！ # # yield [[prompt, result]] #* 记得这个格式。这只能单论聊天。 # ##* 多轮聊天的版本。 # input_prompt[-1][1] += answer # yield input_prompt ##* 多轮会话，带有历史记忆。因为history参数的原因？ # for response, history in chatglm.model.stream_chat(chatglm.tokenizer, query=input_prompt[-1][0], history=history): ## 一轮对话。working. # for response, history in chatglm.model.stream_chat(chatglm.tokenizer, query=str(input_prompt)): ## 这里保留了所有的chat history在input_prompt中。 # for response, history in chatglm.model.stream_chat(chatglm.tokenizer, query=str(input_prompt[-1][0])): ## 从用langchain的自定义方式来做。 # for response, history in chatglm.model.stream_chat(chatglm.tokenizer, query=prompt): ## 这里保留了所有的chat history在input_prompt中。 # for response, history in chatglm.model.stream_chat(chatglm.tokenizer, query=prompt): ### Working. original code here. 这里保留了所有的chat history在input_prompt中。 input_prompt[-1][1] = "" messages = [ {'role': 'user', 'content': prompt}] responses = Generation.call(model="qwen-turbo", messages=messages, result_format='message', # 设置输出为'message'格式 stream=True, # 设置输出方式为流式输出 incremental_output=True # 增量式流式输出 ) for response in responses: if response.status_code == HTTPStatus.OK and len(response.output.choices[0]['message']['content']) > 0: # if response != "
": # print('response of model:', response) # input_prompt[-1][1] = response ## working. ChatGLM的输出。 # response.output.choices[0]['message']['content'] ### 标准的Qwen输出格式。 # input_prompt[-1][1] = response.output.choices[0]['message']['content'] ## working. input_prompt[-1][1] += response.output.choices[0]['message']['content'] ## working. yield input_prompt except Exception as e: print(e) error = str(e) # messages = [{"role": "system", "content": "你是一个专业和友好的AI助手。"},] # messages.append({"role": "user", "content": ""}) # input_prompt[-1][1] += error input_prompt[-1][1] = error yield input_prompt ## 将错误打印到output的textbox里面。 # print(input_prompt) return input_prompt ## 插入chatbot的user问题。 原始代码参考： https://www.gradio.app/guides/creating-a-custom-chatbot-with-blocks def user(user_message, chat_history): # print('chat_history:', chat_history) # return "", chat_history + [[user_message, None]] ## possiblly orginal code? return "", chat_history + [[user_message, None]] ## 报告模块的内容合并。Gradio不接受直接的str相加，所以要通过函数来实现，并且在button click中实现。 def report_prompt(system_prompt, report_method, user_prompt, report_requirement): total_prompt = system_prompt + "\n\n" + "你撰写报告时采用的分析方法是：" + report_method + "\n\n 以下是报告的基础信息：\n" + user_prompt + "\n\n 其他报告写作的要求如下：\n\n" + report_requirement return total_prompt ## 数据分析模块的内容合并。Gradio不接受直接的str相加，所以要通过函数来实现，并且在button click中实现。 def data_prompt(system_prompt, method_prompt, user_prompt, report_requirement): total_prompt = system_prompt + "\n" + user_prompt.to_markdown() + "\n\n" +"分析方法采用："+ method_prompt + "\n\n"+ report_requirement return total_prompt ### 培训模块的内容合并。Gradio不接受直接的str相加，所以要通过函数来实现，并且在button click中实现。 def train_combine_prompt(train_doc, user_prompt, train_requirement): total_prompt = train_doc + "\n\n" + user_prompt + "\n\n" + train_requirement return total_prompt def clear_conversation(): return gr.update(value=None, visible=True), None, "", get_empty_state() # return "", "", [] css = """ #mybutton {background-color: #CEFAFE; color: #06B6D4;} #textarea {-webkit-text-fill-color:black; -webkit-opacity: 1;} .message {font: 16px Arial, sans-serif, 'ui-sans-serif', Montserrat, 'system-ui';} """ # css = None with gr.Blocks(theme=gr.themes.Base(primary_hue='sky', text_size='md'), css=css, title="大语言模型专项模块", js=js_func) as demo: # with gr.Blocks(theme=gr.themes.Monochrome(text_size='md'), css=css, title="培训资料专项大语言模型") as demo: state = gr.State(get_empty_state()) with gr.Row(): # with gr.Column(elem_id="col-container",scale=1): # # with gr.Tab('参考提示词'): # prompt_template = gr.Dropdown(label="选择提示词类型:", value="教案策划",choices=list(prompt_templates.keys())) # default_prompt_value = "我希望您充当教育内容创建者。您需要为教科书、在线课程和讲义等学习材料创建引人入胜且信息丰富的内容。我的第一个建议请求是“我需要帮助制定针对高中生的可再生能源课程计划。”" # prompt_template_preview = gr.Textbox(label="提示词预设内容:", value=default_prompt_value, show_label=True, lines=5, show_copy_button=True) with gr.Column(elem_id="col-container",scale=4): gr.Markdown("""# **大语言模型企业智能化管理中心** """, elem_id="header") gr.Markdown(""" 说明： 本大模型为企业专项定制。提供高度可控、可调节、可迭代的大语言模型工具箱。用户可以根据自己的需求，灵活配置工具箱的功能和参数。可以满足不同用户的个性化需求，让用户能够充分发挥大语言模型的潜力。例如，对于常规业务人员，可以选择使用功能简单、参数较少的工具箱，以便快速上手。对于经验丰富的用户来说，可以选择使用功能复杂、参数较多的工具箱，以便进行更深入的研究。适用于各种业务场景的开发和使用。""") with gr.Row(): with gr.Column(): # gr.Markdown("""### 企业级大语言模型 """) chatbot = gr.Chatbot(elem_id="message", height=600, label="大模型对话区", show_label=True, show_copy_button=True, layout='panel', likeable=True) ## style来设置对话框高度。 # chatbot = gr.Chatbot(elem_id="message", height=600, label="中交建大模型对话区") ## style来设置对话框高度。 # output_message = gr.Textbox(label='大语言模型的回答',lines=10).style(show_copy_button=True) ## textbox version。style来设置对话框高度。 # radio = gr.Radio(['培训资料生成模式', '资料优化模型','配图生成模式'], value='培训资料生成模式',label="大语言模型运行模式") ## 根据要求选择不同的按键类型，button或者icon。 with gr.Row(): with gr.Column(min_width=837): # with gr.Column(scale=8): input_message = gr.Textbox(lines=1, label="输入您的要求", show_label=True, placeholder="在这里输入您的要求按Enter提交", visible=True, show_copy_button=True) with gr.Row(): # with gr.Column(min_width=15): with gr.Column(scale=1): # btn_clear_conversation = gr.Button("\u2716", variant="primary", visible=True).style(full_width=False, size="lg") btn_clear_conversation = gr.Button("开启新对话", variant="secondary", visible=True, size='lg') # with gr.Column(scale=1): # # btn_stop = gr.Button("\u25FD", variant="primary", visible=True).style(full_width=False, size="lg") # btn_stop = gr.Button("终止当前问题/任务", variant="secondary", visible=True, size='lg') # with gr.Column(scale=1): # # btn_stop = gr.Button("\u25FD", variant="primary", visible=True).style(full_width=False, size="lg") # btn_generate = gr.Button("一键生成分析报告", variant="primary", visible=True, size='lg') with gr.Column(min_width=100): # with gr.Column(scale=1): btn_regenerate = gr.Button("重新生成答案", variant="secondary", visible=True, size='lg') # with gr.Column(scale=1): # # btn_stop = gr.Button("\u25FD", variant="primary", visible=True).style(full_width=False, size="lg") # btn_exam = gr.Button("一键生成培训考题", variant="primary", visible=True, size='lg') with gr.Column(scale=1): # btn_submit = gr.Button("\u2714", variant="primary", visible=True).style(full_width=False, size="lg") btn_submit = gr.Button("提交您的要求", variant="primary", visible=True, size='lg') with gr.Column(scale=2): ### 原先设置为2. # gr.Markdown("## 工作区") # with gr.Tab('专项业务板块'): '''以下为报告撰写模块''' with gr.Tab('报告撰写模块'): # with gr.Accordion('报告撰写模块', open=True): # report_input = gr.Textbox(lines=5, label="输入报告基础内容", show_label=True, placeholder="报告基础内容", visible=True, show_copy_button=True) report_input = gr.Textbox(lines=5, label="输入基本信息", show_label=True, placeholder="中小企业加快数字化转型，龙头骨干企业更要发挥引领示范作用。走进位于两江新区的集团自动化的“黑灯工厂”，1000多台机器人高速运转，机械手臂有序协作。在这里，冲压完成一套汽车部件仅需5秒钟，2分钟便可下线一辆新车。", visible=True, show_copy_button=True) # train_sys_prompt = gr.Textbox("你是一个专业的咨询顾问。你写作的风格专业且详实，使用的语言为中文。我需要你根据如下内容撰写一份报告：", label="报告要求设定",visible=True, interactive=True, show_copy_button=True) report_sys_prompt = gr.Textbox("你是一个专业的咨询顾问。我需要你撰写报告，你的写作风格专业且尽可能的详细，除非特别说明否则你使用的语言为中文。", label="报告要求设定", visible=True, interactive=True, show_copy_button=True) report_method = gr.Dropdown(choices=['扩写内容','润色文案','重写材料'], interactive=True, label="报告撰写方法", value="扩写内容", multiselect=False, show_label=True) report_requirement = gr.Textbox("""标题：简明扼要地概括汇报内容。 正文：分为[基本情况]、[主要做法]、[下一步计划]三个部分。 结尾：总结全文，提出希望。 """, label="报告格式设定",show_label=True, show_copy_button=True,visible=True, interactive=True) # train_text = gr.Textbox(lines=3, label='输出内容风格', show_label=True, show_copy_button=True, value=report_requirement) btn_report = gr.Button("一键生成汇报材料", variant="primary", visible=True, size='lg') '''以下为简易分析模块''' with gr.Tab('商业分析模块'): # with gr.Accordion('报告撰写模块', open=True): biz_analysis_input = gr.Textbox(lines=5, label="输入基本信息", show_label=True, placeholder="9月份我部门共成单19件（注：8月份为21件）；收到既有客户投诉246起（注：8月份为199起）；潜在客户咨询152起（注：与8月份124起）", visible=True, show_copy_button=True) # train_sys_prompt = gr.Textbox("你是一个专业的咨询顾问。你写作的风格专业且详实，使用的语言为中文。我需要你根据如下内容撰写一份报告：", label="报告要求设定",visible=True, interactive=True, show_copy_button=True) biz_analysis_sys_prompt = gr.Textbox(lines=3, value="你是一个专业的商业分析顾问。我需要你撰写商业分析材料，你的写作风格专业且尽可能的详细，除非特别说明否则你使用的语言为中文。", label="报告要求设定", visible=True, interactive=True, show_copy_button=True) biz_analysis_method = gr.Dropdown(choices=['头脑风暴', '整体分析','趋势判断','SMART分析','SWOT分析','精益分析','5W1H分析','PEST分析','金字塔原理','六顶思考帽'], interactive=True, label="商业分析方法", value="头脑风暴", multiselect=False, show_label=True) biz_analysis_requirement = gr.Textbox(lines=4, value="""1. 将数据整理成Markdown表格的形式。 2. 必须有标题。 3. 使用一、二、三格式的序号。 4. 最后有总结。 """, label="报告格式设定",show_label=True, show_copy_button=True,visible=True, interactive=True) # train_text = gr.Textbox(lines=3, label='输出内容风格', show_label=True, show_copy_button=True, value=biz_analysis_requirement) btn_biz_analysis = gr.Button("一键生成分析报告", variant="primary", visible=True, size='lg') ###NOTE: 以下模块为数据分析模块，国产模型不稳定，暂时不开放！ # with gr.Tab('高级分析模块'): # ## 上传功能 # with gr.Row(): # # file_output = gr.UploadButton(label='上传数据文件区', file_count="single", file_types=[".csv"]) # file_output = gr.File(label='上传数据文件区', file_count="single", file_types=[".csv"]) # ##NOTE: convert the uploaded file into dataframe, so that the Gradio can process it. # def csv_file(file_output): # res = pd.read_csv(file_output) # return res # with gr.Row(): # md_table = gr.DataFrame() # file_output.upload(fn=csv_file, inputs=file_output, outputs=md_table, queue=False) #! Gradio中需要通过函数来获得结果，否则都是Gradio内部定义的数据结构，如File，无法被直接访问或使用。 # # with gr.Row(): # # gr.DataFrame("/Users/yunshi/Downloads/360Data/Data Center/Working-On Task/演讲与培训/2023ChatGPT/Coding/code_interpreter/rawdata/iris.csv") # data_sys_prompt = gr.Textbox("""你是一个专业的数据科学家。你需要保持专业的风格且分析内容详实，使用的语言为中文，回复时使用markdown格式。我需要你对如下数据中的[X, Y]进行分析并给出计算结果：\n\n""", lines=3, label="分析要求设定",visible=True, interactive=True, show_copy_button=True) # data_method = gr.Dropdown(choices=['数据整体描述','描述性统计：汇总值、平均值、标准差、分位数', '相关性分析', '分类汇总'], label="数据分析方法", value="描述性统计：平均值、汇总值、标准差、中位数、极数", multiselect=False, interactive=True,show_label=True) # # data_input = gr.Textbox(lines=5, label="输入数据内容", show_label=True, placeholder="数据基础内容", visible=True, show_copy_button=True, interactive=True) # data_requirement = gr.Textbox("""目标：发现数据中的问题和关键点。 # 分析方法：解释上述分析方法的基本原理。 # 分析结论：提出结论，揭示潜在可能原因和对应的措施。 # """, lines=5, label="分析输出设定",show_label=True, show_copy_button=True,visible=True, interactive=True) # # data_analysis_requirement = gr.Textbox(lines=3, label='输出内容风格', show_label=True, show_copy_button=True, value=data_requirement) # btn_data = gr.Button("一键生成数据分析", variant="primary", visible=True, size='lg') with gr.Tab('培训资料模块'): # with gr.Accordion('培训资料模块', open=False): with gr.Row(): # file_output = gr.UploadButton(label='上传数据文件区', file_count="single", file_types=[".csv"]) uploaded_training_file = gr.File(label='上传培训资料区（注：文档内容限制在3000个汉字以内）', file_count="single", file_types=[".docx"]) ##NOTE: convert the uploaded file into dataframe, so that the Gradio can process it. def convert_file(upload_file): # res = pd.read_csv(file_output) ## read csv file. ### 读取教材资料，docx文档 doc = docx.Document(upload_file) my_text = "" for paragraph in doc.paragraphs: if not paragraph.text.isspace(): ## 判断是否有空行。 my_text += paragraph.text ### 在工作台展示一部分内容 show_text = "" for paragraph in doc.paragraphs[:5]: if not paragraph.text.isspace(): ## 判断是否有空行。 show_text += paragraph.text # print(show_text) return my_text, show_text # my_text, show_text = convert_file(uploaded_training_file) ## 单独运行一次这个函数，为了后面直接拼接字符串用。 with gr.Row(): my_doc = gr.TextArea(visible=False) show_doc = gr.TextArea(label="培训资料展示与确认",visible=True, lines=5) uploaded_training_file.upload(fn=convert_file, inputs=uploaded_training_file, outputs=[my_doc, show_doc],queue=False) #! Gradio中需要通过函数来获得结果，否则都是Gradio内部定义的数据结构，如File，无法被直接访问或使用。 ## 一键生成培训资料的环境设定 # training_content = show_doc.replace("['", "").replace("']", "") # system_prompt_message = """你是一个专业的培训材料制作者。我需要你根据提供的内容生成培训材料，内容如下:""" train_prompt = gr.Textbox(value=("""你是一个专业的培训材料制作者。我需要你根据提供的内容生成培训材料，内容如下:"""), visible=False) #! 注意这里的type，不能是简单的str。 # system_prompt = [{"role": "system", "content": f"""{system_prompt_message} {training_content}"""}] ### userful only in OpenAI API. # train_requirement_text = """标题：[培训主题] # 培训目标：[培训目标] # 模块内容：涵盖目标和关键领域的详细内容 # 培训方式：引人入胜的活动，以强化所讨论的概念 # 评估方法：评估学习者理解和知识保留的方法。 # """ # train_requirement = gr.Textbox(lines=5, label='报告风格', show_label=True, show_copy_button=True, value=train_requirement_text) train_requirement = gr.Textbox(lines=5, label='培训材料风格', show_label=True, show_copy_button=True, value="""标题：[培训主题] 培训目标：[培训目标] 模块内容：涵盖目标和关键领域的详细内容 培训方式：引人入胜的活动，以强化所讨论的概念 评估方法：评估学习者理解和知识保留的方法。 """) total_prompt = gr.TextArea(visible=False) # uploaded_training_file.change(train_combine_prompt, [train_prompt, my_doc, train_requirement], total_prompt) # total_prompt = (f"""你是一个专业的培训材料制作者。我需要你根据提供的内容生成培训材料，内容如下: \n {my_text}""") + "\n 培训内容设计需要参考如下要求：" + train_requirement btn_training = gr.Button("一键生成培训资料", variant="primary", visible=True, size='lg') traing_exam_prompt = gr.Textbox(lines=2, value="""你是一个专业的培训材料制作者。我需要你根据上述内容，设计3道单选题和2道问答题。你需要给出题目内容和对应的参考答案。""", label="培训考题要求", show_copy_button=True, visible=True) #! 注意这里的type，不能是简单的str。 btn_training_exam = gr.Button("一键生成培训考试题目", variant="primary", visible=True, size='lg') with gr.Tab(label='高级设置', elem_id='tab'): with gr.Accordion('模型设置', open=True): radio = gr.Radio(['核心模式', '优化模式','其他模式'], value='核心模式', label="大语言模型运行模式") claim_value = str("大语言具有多种高级设置选项来调整其模型。1. Temperature：温度调整文本的多样性。温度值越高，生成的文本越随机。2. Token：控制生成文本的长度。3. 'top_p'：0.0到1.0 (默认 1.0) ，类似Temperature，也叫核采样。4.presence_penalty：惩罚原始文本中已经出现过的单词/短语，从而鼓励生成无重复的输出。" ) claim = gr.Textbox(value=claim_value, label="大模型参数简介",type="text", show_label=True, lines=5) temperature = gr.Slider(minimum=0, maximum=2.0, value=0.7, step=0.1, label="Temperature参数",info="数值越高语句越灵活") max_tokens = gr.Slider(minimum=100, maximum=14096, value=3000, step=100, label="单次聊天最多Token数", info="平均1.12个token约等于1个汉字") top_p = gr.Slider(minimum=0, maximum=1, value=1, step=0.1, label="top_p参数",info="数值越低语句越固定") presence_penalty = gr.Slider(minimum=0, maximum=1, value=0.5, step=0.1, label="penalty参数",info="0没有惩罚，1完全禁止输出复制的单词") # with gr.Tab('参考提示词'): with gr.Accordion('参考提示词', open=True): prompt_template = gr.Dropdown(label="选择提示词类型:", value="教案策划",choices=list(prompt_templates.keys())) default_prompt_value = "我希望您充当教育内容创建者。您需要为教科书、在线课程和讲义等学习材料创建引人入胜且信息丰富的内容。我的第一个建议请求是“我需要帮助制定针对高中生的可再生能源课程计划。”" prompt_template_preview = gr.Textbox(label="提示词预设内容:", value=default_prompt_value, show_label=True, lines=5, show_copy_button=True) ### 上传功能模块 # with gr.Tab('上传文件'): # with gr.Row(): # file_output = gr.File(label='上传文件区', file_count="single", file_types=[".pdf", ".docx",".csv"]) # with gr.Column(scale=1): # btn_process = gr.Button('解析文件', variant="primary", visible=True, size='lg') ## click + submit. 注意，这里的input_message必须是类似gr.Textbox这样的模块type。普通的str不行。 btn_submit_event = btn_submit.click(user, [input_message, chatbot], [input_message, chatbot], queue=False).then(submit_message, [radio, chatbot,temperature,max_tokens,top_p,presence_penalty], chatbot) input_message.submit(user, [input_message, chatbot], [input_message, chatbot], queue=False).then(submit_message, [radio, chatbot,temperature,max_tokens,top_p,presence_penalty], chatbot) btn_clear_conversation.click(clear_conversation, [], [input_message, chatbot]) ### 报告撰写专项模块按键 total_prompt = gr.Textbox(visible=False) ## 用于汇总所有的prompt，然后输入chatbot。 btn_report.click(report_prompt, [report_sys_prompt, report_method, report_input, report_requirement], [total_prompt], queue=True).then(user, [total_prompt, chatbot], [total_prompt, chatbot], queue=True).then(submit_message, [radio, chatbot,temperature,max_tokens,top_p,presence_penalty], chatbot) ### 商业分析撰写专项模块按键 total_prompt = gr.Textbox(visible=False) ## 用于汇总所有的prompt，然后输入chatbot。 btn_biz_analysis.click(report_prompt, [biz_analysis_sys_prompt, biz_analysis_method, biz_analysis_input, biz_analysis_requirement], [total_prompt], queue=False).then(user, [total_prompt, chatbot], [total_prompt, chatbot], queue=False).then(submit_message, [radio, chatbot,temperature,max_tokens,top_p,presence_penalty], chatbot) # ### 数据分析专项模块按键 ##TODO 尝试用ChatGLM3中的code-interpreter来完成。 # # report_prompt = gr.Textbox(value=f"你是一个专业的咨询顾问。你写作的风格专业且详实，使用的语言为中文。我需要你根据如下内容撰写一份报告：", visible=False) # # train_sys_prompt = gr.Textbox("你是一个专业的咨询顾问。你写作的风格专业且详实，使用的语言为中文。我需要你根据如下内容撰写一份报告：") # total_prompt = gr.Textbox(visible=False) ## 用于汇总所有的prompt，然后输入chatbot。 # # btn_report.click(user, [report_prompt, chatbot], [report_prompt, chatbot], queue=False).then(submit_message, [radio, chatbot,temperature,max_tokens,top_p,presence_penalty], chatbot) # # btn_data.click(data_prompt, [data_sys_prompt, data_method, file_output, data_requirement], [total_prompt], queue=False).then(user, [total_prompt, chatbot], [total_prompt, chatbot], queue=False).then(submit_message, [radio, chatbot,temperature,max_tokens,top_p,presence_penalty], chatbot) ## 可以看见这个file_output的完整链接。 # btn_data.click(data_prompt, [data_sys_prompt, data_method, md_table, data_requirement], [total_prompt], queue=False).then(user, [total_prompt, chatbot], [total_prompt, chatbot], queue=False).then(submit_message, [radio, chatbot,temperature,max_tokens,top_p,presence_penalty], chatbot) ##TODO:尝试把数据导入。 ### 培训资料专项模块按键 btn_training.click(train_combine_prompt, [train_prompt, my_doc, train_requirement], [total_prompt], queue=False).then(user, [total_prompt, chatbot], [total_prompt, chatbot], queue=False).then(submit_message, [radio, chatbot,temperature,max_tokens,top_p,presence_penalty], chatbot) ## 把total_prompt作为中间变量。否则，textbox中的内容用user()函数提交后会被清空。 def exam_prompt(traing_exam_prompt): total_prompt = traing_exam_prompt return total_prompt btn_training_exam.click(exam_prompt, traing_exam_prompt, total_prompt).then(user, [total_prompt, chatbot], [total_prompt, chatbot], queue=False).then(submit_message, [radio, chatbot,temperature,max_tokens,top_p,presence_penalty], chatbot) # null_message = gr.Textbox(value=None, visible=False) # btn_regenerate.click(user, [null_message, chatbot], [null_message, chatbot], queue=False).then(submit_message, [radio, chatbot,temperature,max_tokens,top_p,presence_penalty], chatbot) ## working. # exam_prompt = gr.Textbox("你根据上述的内容，生成3道单选题和2道简答题。风格专业且简洁。", visible=False) # btn_exam.click(user, [exam_prompt, chatbot], [exam_prompt, chatbot], queue=False).then(submit_message, [radio, chatbot,temperature,max_tokens,top_p,presence_penalty], chatbot) ## working. ## regenerate button。重新提交对话。 btn_regenerate.click(regenerate, chatbot, chatbot).then(submit_message, [ radio, chatbot, temperature, max_tokens, top_p, presence_penalty], chatbot) ## stop button中止提交程序运行。 # btn_stop.click(fn=None, inputs=None, outputs=None, cancels=[btn_submit_event]) prompt_template.change(on_prompt_template_change, inputs=[prompt_template], outputs=[prompt_template_preview]) demo.load() auth_list = ( ('1234', '1234'), ('joeshi', 'joeshi'), ('guojing', 'guojing'), ('chengrui', 'chengrui'), ('lbh', 'lbh'), ('zhangqian888', 'zhangqian888'), ('scottl', 'scottl'), ('test001', 'test001'), ('test002', 'test002'), ('test003', 'test003'), ) ### 用户名和密码认证 # user_csv = pd.read_csv('auth_list_enterprise.csv') # auth_list = [(x, y) for (x, y) in user_csv[['username', 'password']].values] # demo.launch(height='1200px') # demo.launch(height='1200px', auth=auth_list, auth_message="欢迎使用企业大语言模型培训专属模块", share=True) # demo.launch(height='1500px', auth=auth_list, auth_message="欢迎使用中交建财务共享中心企业大语言模型平台", share=False).queue() # demo.launch(height='1500px', server_name="0.0.0.0", server_port=7860, share=False).queue() demo.launch(height='1500px', server_name="0.0.0.0", server_port=7860, auth=auth_list, auth_message="欢迎使用企业大语言模型平台", share=False).queue()