Identificar alucinaciones en las respuestas de Slackbot
Identificar alucinaciones en las respuestas de Slackbot
Los modelos grandes de lenguaje (LLM) que incluye Slackbot a veces pueden generar respuestas que no son objetivamente precisas o que no tienen sentido en el contexto de una conversación. Estas respuestas, que se conocen como alucinaciones, a menudo suenan verosímiles y se presentan con confianza.
Sigue leyendo para obtener más información sobre cómo reconocerlas, formas de evitarlas y cómo informar de las supuestas alucinaciones a Slack. Es importante revisar las respuestas de manera crítica y verificar la información uno mismo antes de usarla para tomar decisiones o compartir respuestas con otras personas.
Nota: Cuando trabajas con Slackbot, es importante revisar las respuestas de manera crítica y verificar la información uno mismo antes de usarla para tomar decisiones o compartir respuestas con otras personas.
Cómo reconocer las alucinaciones
Las respuestas de la IA en Slack solo contienen información a la que tienes acceso (como canales abiertos, canales cerrados a los que perteneces y mensajes directos), por lo que, si ves información rara, probablemente será una alucinación.
Alucinaciones que Slack puede detectar
Estos son los tipos de alucinaciones que podemos identificar y marcar en las respuestas de Slackbot:
Enlaces a contenido Referencias a archivos que no existen en tu espacio de trabajo de Slack u organización de Enterprise.
Personas, canales y mensajes Referencias a personas, canales o mensajes que no existen.
Cuando detectemos una de estas alucinaciones, los enlaces, los nombres de los canales o las personas se sustituirán por una etiqueta de Enlace no encontrado, Canal no encontrado o Usuario no encontrado. Si ves alucinaciones marcadas en una respuesta, deberías revisar la respuesta completa cuidadosamente para ver su exactitud.
Qué hacer si Slackbot alucina
Se ha entrenado a Slackbot para que sea lo más útil posible, pero en algunos casos no tendrá suficiente información o contexto para ofrecer una respuesta de calidad. Si Slackbot dice “No lo sé” o “No tengo suficiente información para responder esa pregunta” y le pides que lo vuelva a intentar sin darle nuevas instrucciones, es probable que empiece a alucinar para darte una respuesta que te satisfaga.
Utiliza estos consejos para verificar la información que te envía Slackbot o para ayudarle a seguir con su trabajo cuando tiene problemas para darte una respuesta:
Vuelve a preguntar a Slackbot Pregunta a Slackbot la misma pregunta en un chat nuevo y mira si la nueva respuesta es coherente con la respuesta original.
Intenta que las conversaciones sean cortas Si has enviado varios mensajes en la misma conversación, empieza una nueva discusión para reducir el riesgo de que Slackbot se confunda por las respuestas anteriores.
Proporciona fuentes específicas En vez de decir “Busca más información en otros sitios”, prueba “Esos no son los canales correctos, prueba mejor con #nombre-canal y #nombre-canal. También puedes buscar mensajes de @persona”.
Informar de alucinaciones
Si se ha activado el envío de comentarios sobre respuestas de IA en tu espacio de trabajo de Slack u organización Enterprise, puedes informar sobre las respuestas con información que tenga alucinaciones. Estos informes nos ayudan a identificar patrones y mejorar Slackbot. Aquí te indicamos cómo se consigue:
En una respuesta de Slackbot, haz clic en el botón de pulgar hacia abajo.
Marca las casillas que hay junto a los problemas de los que quieras informar e incluye los mensajes en la conversación si quieres. Siempre recibiremos el último mensaje que le hayas enviado a Slackbot como parte del informe.