Slackbot을 구동하는 대규모 언어 모델(LLM)은 이따금씩 사실과 다르거나 대화 맥락상 어색한 응답을 생성할 수 있습니다. 환각이라고 알려진 이러한 응답은 그럴듯해 보이면서도 확신에 찬 답변으로 제공되는 경우가 많습니다.

환각을 인식하고 방지하는 방법과 Slack에 의심스러운 환각을 신고하는 방법을 자세히 알아보려면 계속 읽어보세요. 응답을 비판적으로 검토하고 정보를 직접 확인한 후에 결정을 내리거나 다른 사람과 응답을 공유하는 것이 중요합니다.

참고: Slackbot을 사용해 작업할 때에는 응답을 비판적으로 검토하고 정보를 직접 확인한 후에 결정을 내리거나 다른 사람과 응답을 공유하는 것이 중요합니다.

환각을 인식하는 방법

Slack의 AI 응답은 사용자가 액세스할 수 있는 정보(공개 채널, 사용자가 속한 비공개 채널, 다이렉트 메시지 등)만 포함하므로, 익숙하지 않은 정보가 표시된다면 환각일 가능성이 높습니다. 

Slack이 감지할 수 있는 환각

Slackbot 응답에서 식별, 표시할 수 있는 환각의 유형은 다음과 같습니다. 

• 콘텐츠 링크
  Slack 워크스페이스 또는 엔터프라이즈 조직에 존재하지 않는 파일에 대한 참조
• 사람과 채널, 메시지
  존재하지 않는 사람, 채널 또는 메시지에 대한 참조

이러한 환각을 감지하면 링크, 채널 이름 또는 사람이 링크를 찾을 수 없음, 채널을 찾을 수 없음 또는 사용자를 찾을 수 없음 태그로 대체됩니다. 응답에서 환각으로 표시된 내용을 발견하면, 전체 응답을 신중하게 검토하여 정확한지 확인해야 합니다. 

Slackbot이 환각 정보를 표시하는 경우에는 어떻게 해야 하나요?

Slackbot은 최대한 도움이 되도록 학습되었지만, 경우에 따라 정보나 컨텍스트가 부족하여 양질의 응답을 제공하지 못할 수 있습니다. Slackbot이 “모르겠어요.”라거나 “그 질문에 답할 만큼 정보가 충분하지 않아요.”라고 했는데 사용자가 새로운 지침을 제공하지 않고 다시 시도해 달라고 하면, Slackbot은 사용자가 만족할 만한 답변을 제공하기 위해 환각 정보를 만들어 낼 가능성이 높습니다. 

Slackbot이 보낸 정보를 확인하거나, Slackbot이 답변을 제공하는 데 어려움을 겪을 때 문제를 해결할 수 있도록 다음과 같은 팁을 활용해 보세요. 

• Slackbot에게 다시 질문
  새 채팅에서 Slackbot에게 같은 질문을 다시 한 후 새 채팅에서의 응답이 원래 답변과 일치하는지 확인해 보세요. 
• 대화를 짧게 유지
  동일한 대화에서 메시지를 여러 개 보낸 경우 새 대화를 시작하여 Slackbot이 이전 답변과 혼동할 가능성을 줄여 보세요. 
• 구체적인 출처 제공
  “자세한 정보는 다른 곳에서 찾아봐 줘.”라고 말하기보다 “그 채널들은 적절하지 않으니까 대신 #채널-이름과 #채널-이름을 사용해 줘. @사람의 메시지도 확인해 볼 수 있어.”라고 해 보세요.

환각 신고

Slack 워크스페이스 또는 엔터프라이즈 조직에서 AI 응답 피드백 제출을 활성화하면 환각으로 생성된 정보가 포함된 응답을 신고할 수 있습니다. 이렇게 신고하면 패턴을 파악하고 Slackbot을 개선하는 데 도움이 됩니다. 아래와 같은 방법으로 말이죠.