Die LLMs (Large Language Models, große Sprachmodelle), mit denen Slackbot arbeitet, können zuweilen Antworten generieren, die faktisch falsch sind oder im Kontext einer Unterhaltung keinen Sinn ergeben. Solche Antworten werden als Halluzinationen bezeichnet. Sie klingen oft plausibel und werden gegeben, ohne dass das Modell Zweifel daran erkennen lässt..

Im Folgenden erfährst du, wie du Halluzinationen erkennst, vermeidest und an Slack meldest. Es ist wichtig, dass du Antworten kritisch überprüfst und Informationen selbst verifizierst, bevor du basierend darauf Entscheidungen triffst oder die Antworten an andere Personen weitergibst.

Hinweis: Wenn du mit Slackbot arbeitest, ist es wichtig, dass du Antworten kritisch überprüfst und Informationen selbst verifizierst, bevor du basierend darauf Entscheidungen triffst oder die Antworten an andere Personen weitergibst.

Erkennen von Halluzinationen

KI-Antworten in Slack enthalten nur Informationen, auf die du Zugriff hast (z. B. Offene Channels, Geschlossene Channels, in denen du Mitglied bist, und Direktnachrichten) – wenn du also Informationen siehst, die dir unbekannt vorkommen, handelt es sich wahrscheinlich um Halluzinationen. 

Halluzinationen, die Slack entdecken kann

Folgende Arten von Halluzinationen können wir in Slackbot-Antworten identifizieren und kennzeichnen: 

• Links zu Inhalten
  Verweise auf Dateien, die in deinem Slack-Workspace oder deiner Enterprise-Organisation nicht vorhanden sind.
• Personen, Channels und Nachrichten
  Verweise auf Personen, Channels oder Nachrichten, die nicht existieren.

Wenn wir eine solche Halluzination erkennen, werden Links, Channel-Namen bzw. Personen durch eins dieser Tags ersetzt: Link nicht gefunden, Channel nicht gefunden bzw. Benutzer:in nicht gefunden. Wenn du gekennzeichnete Halluzinationen in einer Antwort siehst, solltest du die gesamte Antwort sehr sorgfältig auf Richtigkeit überprüfen. 

Vorgehensweise bei Halluzinationen von Slackbot

Slackbot ist darauf trainiert, so gut wie möglich zu helfen. In manchen Fällen gibt es aber nicht genügend Informationen oder Kontext, sodass Slackbot keine hochwertige Antwort geben kann. Wenn Slackbot sagt: „Ich weiß es nicht“ oder „Ich habe nicht genug Informationen, um diese Frage zu beantworten“ und du ihn bittest, es noch einmal zu versuchen, dafür aber keine neuen Anweisungen gibst, denkt Slackbot sich wahrscheinlich etwas aus, um dir eine Antwort zu geben, mit der du zufrieden bist. 

Nutze diese Tipps, um Informationen von Slackbot zu verifizieren oder den Bot wieder auf die richtige Spur zu bringen, wenn er Schwierigkeiten hat, eine Antwort zu geben: 

• Frage Slackbot noch einmal.
  Stelle Slackbot dieselbe Frage noch einmal in einem neuen Chat und überprüfe, ob die neue Antwort mit der vorherigen übereinstimmt. 
• Halte Gespräche kurz.
  Wenn du in ein und derselben Unterhaltung viele Nachrichten gesendet hast, starte eine neue, um das Risiko zu senken, dass Slack durch vorherige Antworten verwirrt ist. 
• Gib genaue Quellen an.
  Anstatt Slackbot zu bitten: „Suche woanders nach weiteren Informationen“, formuliere etwas in dieser Art: „Das sind nicht die richtigen Channels. Versuche stattdessen #channel-name und #channel-name. Du kannst auch in Nachrichten von @Person suchen.“

Halluzinationen melden

Wenn Feedback-Beiträge zu KI-Antworten für deinen Slack-Workspace oder deine Enterprise-Organisation aktiviert sind, kannst du Antworten mit erfundenen Informationen melden. Diese Meldungen helfen uns dabei, Muster zu erkennen und Slackbot zu verbessern. Und so funktioniert`s: