Identificar alucinaciones en respuestas de Slackbot
Identificar alucinaciones en respuestas de Slackbot
Los modelos grandes de lenguaje (LLM) que son el motor de Slackbot pueden, ocasionalmente, generar respuestas que son imprecisas o que no tienen sentido dentro del contexto de la conversación. Estas respuestas, conocidas como alucinaciones, suelen tener sentido y mostrarse como hechos.
Encontrarás aquí más información acerca de cómo reconocer las alucinaciones, formas para evitarlas y cómo reportar posibles alucinaciones a Slack. Es importante revisar las respuestas de forma crítica y verificar la información por tu cuenta antes de usarla para tomar decisiones o compartir respuestas con otras personas.
Nota: Al trabajar con Slackbot, es importante revisar las respuestas de forma crítica y verificar la información por tu cuenta antes de usarla para tomar decisiones o compartir respuestas con otras personas.
Cómo reconocer alucinaciones
Las respuestas de IA en Slack solo contienen información a la que tú tienes acceso (como canales públicos, canales privados a los que perteneces y mensajes directos). Por lo tanto, si ves información que no reconoces, es probable que se trate de una alucinación.
Alucinaciones que puede detectar Slack
A continuación, detallamos los tipos de alucinaciones que podemos identificar y marcar en las respuestas de Slackbot:
Enlaces a contenido Referencias a archivos que no existen en tu espacio de trabajo de Slack u organización Enterprise.
Personas, canales y mensajes Referencias a personas, canales o mensajes que no existen.
Cuando detectamos una de estas alucinaciones, se reemplazan los enlaces, nombres de canales o personas con una etiqueta de Enlace no encontrado, Canal no encontrado o Usuario no encontrado. Si ves alucinaciones marcadas en una respuesta, debes revisar esa respuesta con cuidado para verificar la precisión de la información.
Qué hacer si Slackbot muestra alucinaciones
Se entrenó a Slackbot para que sea lo más útil posible. Sin embargo, en algunos casos, no cuenta con información o contexto suficientes para brindar una respuesta de calidad. Si Slackbot dice algo como «No lo sé» o «No tengo la información suficiente para responder esa pregunta» y le pides que vuelva a intentarlo sin brindar más instrucciones, es probable que produzca alucinaciones para darte una respuesta satisfactoria.
Usa los siguientes consejos para verificar la información que te envía Slackbot o para continuar con el trabajo cuando tenga problemas para brindar una respuesta:
Vuelve a preguntarle a Slackbot Envía a Slackbot la misma consulta en una nueva conversación para ver si la respuesta nueva coincide con la anterior.
Ten conversaciones cortas Si ya enviaste varios mensajes en la misma conversación, inicia una discusión nueva para reducir el riesgo de que Slackbot se confunda con las respuestas anteriores.
Brinda fuentes específicas En lugar de decir «Busca más información en otros lugares», prueba decir lo siguiente: «Esos no son los canales correctos. Prueba con #nombre-de-canal y #nombre-de-canal. También puedes buscar mensajes de @Persona».
Reportar alucinaciones
Si está activado el envío de comentarios acerca de respuestas de IA en tu espacio de trabajo de Slack u organización Enterprise, puedes reportar respuestas que contengan información con alucinaciones. Estos reportes nos ayudan a identificar patrones y a mejorar Slackbot. Aquí te explicamos cómo hacerlo:
En una respuesta de Slackbot, haz clic en el botón de pulgar abajo.
Marca las casillas junto a los problemas que quieres reportar y, si quieres, incluye los mensajes de la conversación. Siempre recibimos los últimos mensajes que le enviaste a Slackbot como parte de un reporte.