Identifica le allucinazioni nelle risposte di Slackbot

I modelli linguistici di grandi dimensioni (LLM) che alimentano Slackbot potrebbero generare a volte risposte che sono completamente sbagliate o che non hanno senso nel contesto di una conversazione. Queste risposte, dette allucinazioni, spesso sembrano plausibili e date con sicurezza.

Continua a leggere per scoprire di più su come riconoscere le allucinazioni, sui modi per evitarle e su come segnalare sospette allucinazioni a Slack. È importante revisionare in modo critico le risposte e verificare personalmente le informazioni, prima di usarle per prendere decisioni o condividere risposte con gli altri.

Nota: Quando lavori con Slackbot, è importante revisionare in modo critico le risposte e verificare personalmente le informazioni, prima di usarle per prendere decisioni o condividere risposte con gli altri.


Come riconoscere le allucinazioni

Le risposte dell’IA in Slack contengono solo informazioni a cui hai accesso (come canali pubblici, canali privati di cui sei membro e messaggi diretti), quindi, se vedi informazioni che non ti sono familiari, probabilmente è un’allucinazione. 


Quali allucinazioni può rilevare Slack

Ecco i tipi di allucinazioni che possiamo identificare e contrassegnare nelle risposte di Slackbot: 

  • Link a contenuti
    Riferimenti a file che non esistono nella tua area di lavoro di Slack o organizzazione Enterprise.
  • Le persone, i canali e i messaggi
    Riferimenti a persone, canali o messaggi che non esistono.

Quando rileviamo una di queste allucinazioni, i link, i nomi di canali o le persone saranno sostituite con un tag di link non trovato, canale non trovato o utente non trovato. Se noti delle allucinazioni contrassegnate in una risposta, dovresti rivedere attentamente l’intera risposta per accertarti della sua correttezza. 


Cosa fare se Slackbot genera delle allucinazioni

Slackbot è stato addestrato per essere il più utile possibile, ma in alcuni casi non avrà abbastanza informazioni o contesto per fornire una risposta di qualità. Se Slackbot afferma “non lo so” o “non ho abbastanza informazioni per rispondere a quella domanda” e gli chiedi di provare di nuovo, senza fornire nuove istruzioni, probabilmente inizierà ad avere allucinazioni per poterti fornire una risposta soddisfacente. 

Usa questi consigli per verificare le informazioni che ti invia Slackbot o aiutarlo a tornare sulla retta via quando ha problemi a fornire una risposta: 

  • Chiedi di nuovo a Slackbot
    Fai a Slackbot la stessa domanda in una nuova chat e osserva se la nuova risposta è coerente con quella originale. 
  • Mantieni brevi le conversazioni
    Se hai inviato molti messaggi nella stessa conversazione, avvia una nuova discussione per ridurre il rischio che Slackbot si confonda con le risposte precedenti. 
  • Fornisci fonti specifiche
    Piuttosto che dire “Cerca in altri posti per più informazioni”, prova “Quelli non sono i canali giusti, prova #nome-canale e #nome-canale al loro posto. Puoi anche cercare nei messaggi di @persona.”


Segnala le allucinazioni

Se gli invii di feedback delle risposte IA sono disabilitati per la tua area di lavoro di Slack o la tua organizzazione Enterprise, puoi segnalare le risposte con informazioni allucinate. Questi report ci aiutano a identificare modelli e migliorare Slackbot. Ecco come: 

  1. Da una risposta di Slackbot, clicca sul  pulsante pollice in giù
  2. Spunta le caselle di fianco ai problemi che vuoi segnalare e, se vuoi,includi i messaggi della conversazione. Riceveremo sempre l’ultimo messaggio che hai inviato a Slackbot come parte del report. 
  3. Clicca su Invia.