识别 Slackbot 回复中的“幻觉”
驱动 Slackbot 的大语言模型 (LLM) 有时会生成与事实相悖或在对话上下文中逻辑混乱的回复。这类自信生成的看似合理但实际错误的回复通常被称为幻觉。
请继续阅读,进一步了解如何识别幻觉、规避幻觉,以及如何向 Slack 报告疑似幻觉的内容。在参照回复做出决策或与他人分享这些回复之前,请务必亲自谨慎阅读并核实信息。
注意:当你使用 Slackbot 时,在参照回复做出决策或与他人分享这些回复之前,请务必亲自谨慎阅读并核实信息。
如何识别幻觉
Slack 中的 AI 回复仅包含你有权访问的信息(例如你所属的公共频道和私人频道中的信息,以及私信)。因此,如果你看到不熟悉的信息,有可能是幻觉。
Slack 可检测到的幻觉
以下是我们可在 Slackbot 回复中识别并标记的幻觉类型:
-
内容链接
引用 Slack 工作区或 Enterprise 组织中不存在的文件。 -
人员、频道和消息
引用不存在的人员、频道和消息。
当我们检测到上述任一幻觉类型时,链接、频道名称或人员将被替换为链接未找到、频道未找到或用户未找到标签。如果你在回复中看到已标记的幻觉,应仔细审阅完整回复,以确认准确性。
遇到 Slackbot 幻觉时该怎么做
Slackbot 经过训练,以尽可能生成有实际帮助的回复,但在某些情况下,它会因信息或上下文不足而无法生成高质量的回复。如果 Slackbot 反馈“我不知道”或“我没有充足信息来回答该问题”,并且你在没有提供新指令的情况下让它重新回答,它可能会开始编造信息来提供令你满意的答案。
你可以利用这些小窍门核实 Slackbot 向你发送的信息,或者在它难以提供答案时帮助回到正轨:
-
再次向 Slackbot 提问
开启新的对话,向 Slackbot 提出同一问题,看看新回复是否与原始回复一致。 -
精简对话内容
如果你已在同一对话中发送多条消息,不妨开启新的讨论,以降低 Slackbot 因先前回复而产生混淆的风险。 -
提供具体来源
与其说“在其他地方查找更多信息”,不如试着说“这些不是我想要的频道,请试试 #channel-name和 #channel-name。你也可以查找来自 @person的消息。”
报告幻觉
如果你所在的 Slack 工作区或 Enterprise 组织已启用“AI 回复反馈提交”功能,你可以报告含有幻觉信息的回复。这些报告将帮助我们识别问题模式并改进 Slackbot。方法如下:
- 在 Slackbot 回复中,单击大拇指朝下按钮。
- 勾选你要报告的问题旁的复选框,如有需要,你也可以附上对话中的消息。作为报告的一部分,我们始终会收到你发送给 Slackbot 的最后一条消息。
- 单击发送。
