識別 Slackbot 回應中的幻覺

支援 Slackbot 的大型語言模型 (LLM) 有時候產生的某些回應事實上是不準確的,或是在對話的情境下是不具意義的。這類回應 (又稱幻覺) 通常聽起來頗有道理,表達也相當有自信。

請繼續閱讀以深入瞭解關於幻覺、避免幻覺的方法,以及如何向 Slack 報告可疑的幻覺等資訊。利用回應做出決策或與其他人分享回應之前,最重要的就是認真檢視並驗證資訊是否正確。

注意:使用 Slackbot 時,利用回應做出決策或與其他人分享回應之前,最重要的就是認真檢視並驗證資訊是否正確。


如何識別幻覺

Slack 中的 AI 回應只包含你有存取權 (例如公開頻道、你所屬的私人頻道、私訊等) 的資訊;因此,如果看到你不熟悉的資訊,那麼很可能就是幻覺。 


Slack 可偵測的幻覺

以下是我們可以在 Slackbot 回應中識別並打暗號的幻覺類型:

  • 內容連結
    引用不存在於你的 Slack 工作空間或 Enterprise 組織中的檔案。
  • 人員、頻道,以及訊息
    引用不存在的人員、頻道或訊息。

當我們偵測到其中一個幻覺時,系統將以「找不到連結」、「找不到頻道」或「找不到使用者」等標記來取代連結、頻道名稱或人員。如果在回應中看到打暗號的幻覺,請仔細檢視完整的回應以確認準確性。 


如果 Slackbot 產生幻覺該怎麼做

對 Slackbot 的訓練旨在盡可能地提供協助;但是某些情況下,由於資訊或背景資料不足,使得 Slackbot 無法提供優質的回應。如果 Slackbot 說:「我不知道」或「我資訊不足,無法答覆這個問題」,而你又要求它再試一次且未提供新的指示時,為了給你一個滿意的答覆,它可能開始產生幻覺。 

利用以下的訣竅來驗證 Slackbot 傳送給你的資訊,或在它無法答覆時幫助它恢復正常: 

  • 再次詢問 Slackbot
    在新的聊天視窗中詢問 Slackbot 同樣的問題,看看新的答覆是否和原始的回覆一致。 
  • 對話保持精簡
    如果已經在同一個對話中傳送多則訊息,則可發起新的討論以減少 Slackbot 受先前回覆所混淆的風險。 
  • 提供具體的來源
    避免說:「查找其他位置以取得更多資訊,」改說:「這些頻道都不對,請改嘗試 #頻道名稱和 #頻道名稱。你也可以查找來自 @人員的訊息。」


報告幻覺

如果你的 Slack 工作空間或 Enterprise 組織已啟用「AI 回應提交意見反應」功能,你可以報告含有幻覺資訊的回應。這類報告有助於我們識別模式並改善 Slackbot。方法如下: 

  1. 在 Slackbot 回應中按一下「倒讚按鈕」。 
  2. 勾選你要報告的問題旁邊的方塊,如有需要,也可以將訊息納入你的對話中。我們一律會接收你傳送到 Slackbot 的最後一則訊息作為報告的一部分。 
  3. 按一下「傳送」。