识别 Slackbot 回复中的“幻觉”

驱动 Slackbot 的大语言模型 (LLM) 有时会生成与事实相悖或在对话上下文中逻辑混乱的回复。这类自信生成的看似合理但实际错误的回复通常被称为幻觉。

请继续阅读,进一步了解如何识别幻觉、规避幻觉,以及如何向 Slack 报告疑似幻觉的内容。在参照回复做出决策或与他人分享这些回复之前,请务必亲自谨慎阅读并核实信息。

注意:当你使用 Slackbot 时,在参照回复做出决策或与他人分享这些回复之前,请务必亲自谨慎阅读并核实信息。


如何识别幻觉

Slack 中的 AI 回复仅包含你有权访问的信息(例如你所属的公共频道和私人频道中的信息,以及私信)。因此,如果你看到不熟悉的信息,有可能是幻觉。 


Slack 可检测到的幻觉

以下是我们可在 Slackbot 回复中识别并标记的幻觉类型: 

  • 内容链接
    引用 Slack 工作区或 Enterprise 组织中不存在的文件。
  • 人员、频道和消息
    引用不存在的人员、频道和消息。

当我们检测到上述任一幻觉类型时,链接、频道名称或人员将被替换为链接未找到频道未找到用户未找到标签。如果你在回复中看到已标记的幻觉,应仔细审阅完整回复,以确认准确性。 


遇到 Slackbot 幻觉时该怎么做

Slackbot 经过训练,以尽可能生成有实际帮助的回复,但在某些情况下,它会因信息或上下文不足而无法生成高质量的回复。如果 Slackbot 反馈“我不知道”或“我没有充足信息来回答该问题”,并且你在没有提供新指令的情况下让它重新回答,它可能会开始编造信息来提供令你满意的答案。 

你可以利用这些小窍门核实 Slackbot 向你发送的信息,或者在它难以提供答案时帮助回到正轨: 

  • 再次向 Slackbot 提问
    开启新的对话,向 Slackbot 提出同一问题,看看新回复是否与原始回复一致。 
  • 精简对话内容
    如果你已在同一对话中发送多条消息,不妨开启新的讨论,以降低 Slackbot 因先前回复而产生混淆的风险。 
  • 提供具体来源
    与其说“在其他地方查找更多信息”,不如试着说“这些不是我想要的频道,请试试 #channel-name和 #channel-name。你也可以查找来自 @person的消息。”


报告幻觉

如果你所在的 Slack 工作区或 Enterprise 组织已启用“AI 回复反馈提交”功能,你可以报告含有幻觉信息的回复。这些报告将帮助我们识别问题模式并改进 Slackbot。方法如下: 

  1. 在 Slackbot 回复中,单击大拇指朝下按钮。 
  2. 勾选你要报告的问题旁的复选框,如有需要,你也可以附上对话中的消息。作为报告的一部分,我们始终会收到你发送给 Slackbot 的最后一条消息。 
  3. 单击发送