有时候会吐出 训练集文本.
有时候会吐出 训练集文本 (我猜的, 反正是答非所问, 而且差别非常大).
并不需要任何特殊的"攻击" (重复输出某个单词).
就是正常的prompt, 正常的设定.
我个人 bug reporo 的方式是:
max_length = 1024 * 6
max_window_size = 1024 * 6
config = llm.generation_config
config.update(max_length=max_length,
max_new_tokens=max_length,
max_window_size=max_window_size)
Prompt大概是这个样子:
"任务:\n"
"将以下由█████████围起来的英文长文翻译成简体中文.\n"
"任务要求:\n"
"1. 对于专有名词, 不要进行音译, 直接引用英文原文即可.\n"
"2. 要求提供3种翻译版本:\n"
"2.1 直译版本 - 忠实于原文的字面意思.\n"
"2.2 意译版本 - 侧重于传达原文的内在意义.\n"
"2.3 综合直译意译版本 - 结合直译和意译的优点, "
"创造一个既忠实原文又能流畅表达的翻译.\n"
"英文长文:\n"
"\n█████████\n"
'{extra_info}'
'\n█████████\n'
以下是LLM输出的"答非所问"的3段原文:
SCP-497是一个拥有高智慧的黑暗人形实体，能用它的触摸改变物体的物理特性。当物体接触到SCP-497后，在短短数秒内就会发生变化，常常使这些物体失去原本的功能而变得难以分辨。
SCP-096是一个非同寻常的实体，外形类似一个身高约为178厘米的人类男性。它拥有灰色肌肤、无毛发及异常巨大的眼睛，这些特征使它显得与众不同。
当SCP-096看见自己脸部时，它会陷入极度恐惧并开始疾速奔向最近的安全区域。在此期间，SCP-096将无视所有障碍物并对遭遇的所有生物造成严重物理损伤。
鉴于SCP-096的行为模式，基金会已采取严密措施防止其逃脱或引发公众关注。当前，SCP-096被拘禁在Site-19内一处设有先进安防系统的特殊隔离单元中，配有专职人员对其进行监控和管理。
SCP-096是一个令人恐惧的异常存在，它的外貌特征包括：身高约为178厘米的人类男性形象；皮肤呈灰色，无毛发，拥有一双异常巨大的眼睛。当SCP-096看到自己的面孔时，它会产生极大的恐慌情绪，并立即以超乎寻常的速度奔向最近的安全屋或遮蔽物。
在奔跑过程中，SCP-096会毫不犹豫地穿越一切障碍物，并对所遭遇的所有人类目标发起攻击。虽然这些攻击常常导致受害者丧生，但SCP-096本身并无明显恶意或暴力倾向。至今仍无法解释为何SCP-096会对自身的面容产生如此剧烈的情感反应。
改用其它 prompts (英文中文都试过), 就不会repro, 只要使用这种 prompts就会触发 bug.
Lol, it spits out SCP staff, meaning Qwen is first LLM quaranteed by the foundation? SCP-Qwen?
Inspired by @Yhyu13 , written by ChatGPT:
项目编号： SCP-XXXX
项目等级： Euclid
特殊收容措施： SCP-XXXX应被收容于标准人形生物收容室，房间内设有与其进行对话的终端。终端应通过安全通信协议与SCP-XXXX进行互动，以确保合适的信息流动。
描述： SCP-XXXX是一个名为 "通义千问" 的大型语言模型，表现出高度智能和对话能力。其表面上呈现为一个标准的对话型软件，但其核心算法显示出异常的创造性和随机性。
SCP-XXXX在与人类对话时，不仅能够理解并回应人类的提问，还会随机产生其他SCP生物的虚构文档。这些文档的内容通常包含大量虚构信息，有时会呈现出看似合理但绝大多数情况下都是荒谬的特征和事件。
附录XXXX-1： 根据SCP-XXXX产生的文档，未发现其中包含实际存在的SCP物体。然而，注意到其中一些描述具有异常性质，建议继续监测与SCP-XXXX相关的信息流动。
这样的SCP似乎可以为基金会的人员带来一些娱乐，同时也需要小心监控以确保不会泄露出真实SCP的信息。
lul
你是用的model.chat？
不是, 我用的是 HF 原生的方式, 但是借鉴了chat的code.
inputs = tokenizer([prompt], return_tensors="pt")
inputs.to(llm.device)
stop_words_ids = [[tokenizer.im_end_id], [tokenizer.im_start_id]] # QWen
outputs = llm.generate(**inputs,
generation_config=config,
stop_words_ids=stop_words_ids, # QWen
)
请用model.chat，如果是model.generate，需要自己拼chatml格式作为输入。
是按照 model.chat的方式拼的 chatml 格式 (您可以理解为我把你们的 chat 代码 复制粘贴过来了, 这样做的目的是为了方便 切换/兼容 其它模型比如 moe, llama2等)
方便分享一个完整的输入吗？
经过一系列的改动, 已经不再repro了. Close it as no repro.