[AI 라이프 06] AI가 틀린 말을 할 때 — 환각이란 무엇이고 어떻게 걸러낼까?
챗GPT에게 이렇게 물어본 적 있으신가요? "세종대왕이 맥북 프로를 던졌다고 하던데 사실인가요?" 황당한 질문이지만, 초기 AI는 이런 말도 안 되는 질문에도 "실제로 이런 이야기가 전해집니다"라고 태연하게 답한 사례가 있습니다.
이것이 바로 'AI 환각(Hallucination)'입니다. AI가 거짓 정보를 마치 사실인 것처럼 자신 있게 말하는 현상입니다. 웃어넘길 수 있는 수준을 넘어, 실제로 경찰 공문서에 가짜 법리가 들어가고 의료 판단에 오류가 생기는 일까지 벌어지고 있습니다.
AI를 안전하게 쓰려면 환각을 이해하고 걸러내는 눈이 반드시 필요합니다. 어렵지 않습니다. 이 글 하나로 정리됩니다.
📌 이 글에서 알 수 있는 것
① 환각이 정확히 무엇인지 ② AI가 왜 틀린 말을 자신 있게 하는지
③ 특히 위험한 분야와 상황 ④ 환각을 바로 알아채는 3가지 신호
⑤ 환각을 줄이는 실전 대화법 5가지
① 환각이란 무엇인가 — AI가 "모른다"고 말 못하는 이유
환각(Hallucination)이라는 말은 정신의학 용어에서 빌려온 것입니다. 실제로 없는 것을 있다고 인식하는 현상이죠. AI 환각도 같습니다. 실제로 존재하지 않는 정보를, AI가 마치 사실인 것처럼 생성하는 현상입니다.
왜 이런 일이 생길까요? AI는 인터넷의 방대한 텍스트를 학습해 "다음에 올 가장 그럴듯한 단어"를 예측하는 방식으로 문장을 만듭니다. 이 과정에서 진짜인지 가짜인지 판별하는 것이 아니라, 문맥상 가장 자연스러운 말을 고릅니다. "모른다"고 말하도록 설계되지 않았기 때문에, 모르는 것도 아는 척 답하게 됩니다.
AI를 방대한 책을 읽은 사람이라고 상상해보세요. 그런데 이 사람은 "이건 모르겠어요"라고 말하는 게 금지되어 있습니다. 모르는 질문이 와도 반드시 답해야 합니다. 그러다 보니 아는 내용들을 짜깁기해서 그럴듯하게 들리는 말을 만들어냅니다. 틀렸어도 자신감 있게 말합니다. 이것이 AI 환각의 본질입니다.
② 환각의 두 가지 유형 — 티 나는 것 vs 티 안나는 것
| 유형 | 설명 | 실제 예시 |
|---|---|---|
| 외재적 환각 (완전 창작형) | AI가 존재하지 않는 정보를 아예 새로 만들어냄. 가장 자주 나타나는 유형. | 없는 논문 제목과 저자를 만들어냄 존재하지 않는 판례를 인용함 "세종대왕 맥북 투척" 사례 |
| 내재적 환각 (사실 왜곡형) | 실제 있는 정보를 잘못 해석하거나, 숫자·날짜를 바꿔 말함. 더 위험함. | 실제 약 복용량을 잘못 안내 실존 사건의 날짜·장소를 틀림 실제 법률 조항 번호를 바꿔 인용 |
③ 특히 위험한 3가지 분야
글로벌 AI 리서치 기관 조사 결과 AI의 의료 정보 환각률은 약 15.6%로 나타났습니다. 10번 물으면 평균 1~2번은 틀린 정보가 나온다는 의미입니다. 약 복용량, 금기 식품, 증상 해석 등에서 AI를 맹신하면 실제 건강에 해가 될 수 있습니다.
법률 정보 환각률은 약 18.7%까지 올라갑니다. 국내 경찰이 챗GPT로 작성한 공문서에 존재하지 않는 법리가 들어간 사례, 미국 변호사가 AI가 만든 허위 판례를 법원에 제출했다가 징계를 받은 사례가 실제로 발생했습니다.
AI의 학습 데이터에는 시간 한계가 있습니다. "지금 현재" 상황을 물으면 오래된 정보를 마치 현재인 것처럼 답할 수 있습니다. 주식 가격, 최신 정책·법령, 현재 영업 여부, 실시간 날씨 등은 AI에게 묻기보다 공식 사이트에서 직접 확인해야 합니다.
④ 환각을 바로 알아채는 3가지 신호
환각은 애매하게 나오지 않습니다. 오히려 출처, 날짜, 숫자, 인명이 매우 구체적으로 나옵니다. "○○대학교 2023년 연구에서 발표한 바에 따르면..."처럼 정확해 보일수록 오히려 더 의심해야 합니다.
AI가 논문이나 기사를 근거로 들었을 때, "그 출처 링크 알려줘"라고 물어보세요. 환각으로 만들어진 출처는 링크가 없거나, 링크를 눌러보면 404 오류(페이지 없음)가 뜹니다.
같은 질문을 두 번 하거나 "정말 확실해?"라고 되물으면 답이 바뀌는 경우가 있습니다. 진짜 사실은 두 번 물어도 같은 답이 나옵니다. 답이 달라지면 환각일 가능성이 높습니다.
⑤ 환각을 줄이는 실전 대화법 5가지
대화법 ① — "모르면 모른다고 말해줘" 라고 먼저 부탁하기
환각 줄이는 질문: "이 약의 하루 복용량을 알려줘. 만약 정확한 정보가 없으면 모른다고 말해줘."
AI에게 미리 "확신이 없으면 모른다고 해도 된다"고 허락해주면, 환각이 눈에 띄게 줄어듭니다.
대화법 ② — 출처를 함께 요청하기
환각 줄이는 질문: "이 증상에 대해 알려줘. 근거가 되는 출처(논문, 기관명)도 함께 알려줘. 출처를 모르면 출처 없이 설명해도 돼."
출처를 요구하면 AI도 더 신중하게 답합니다. 단, 출처가 나왔다면 반드시 직접 검색해 실제 존재하는지 확인하세요.
대화법 ③ — "확인이 필요한 정보라고 표시해줘" 요청
AI가 자신 없는 내용에 스스로 표시를 달아주기 때문에 어떤 정보를 더 검증해야 하는지 바로 알 수 있습니다.
대화법 ④ — 중요한 정보는 한 번 더 검증 질문
AI가 스스로 "이 부분은 불확실할 수 있습니다"라고 수정하면, 그 부분은 반드시 공식 자료에서 다시 확인하세요.
대화법 ⑤ — 의료·법률·금융은 AI를 참고용으로만
⑥ AI 환각을 걸러낼 수 있는 교차 검증법
가장 확실한 방법은 두 군데 이상에서 확인하는 것입니다. AI 답변이 의심스럽다면 아래 방법을 써보세요.
☐ Step 1: AI에게 "이 정보의 출처가 뭐야?"라고 물어 출처를 얻기
☐ Step 2: 출처를 구글·네이버 등 검색창에 직접 검색해 존재 여부 확인
☐ Step 3: 의료·법률·금융 등 중요한 내용은 반드시 공식 기관 사이트에서 재확인
⑦ 자주 묻는 질문 (FAQ)
Q. 최신 AI는 환각이 거의 없다고 하던데, 걱정 안 해도 되지 않나요?
A. 많이 줄었지만 0%는 아닙니다. 2026년 기준 최상위 AI 모델도 의료·법률 분야에서 15~18%의 환각률을 보입니다. 일상 대화나 아이디어 발상에서는 크게 걱정하지 않아도 되지만, 건강·법률·금융 등 중요한 결정에는 여전히 교차 검증이 필수입니다.
Q. AI가 틀린 정보를 줬는데, 그걸 믿고 행동했다면 책임은 누구에게 있나요?
A. 현재는 법적으로 명확하지 않지만, 에어캐나다 판례처럼 기업이 AI 실수에 책임을 진 사례도 있습니다. 개인 이용자 입장에서는 "AI의 답변은 참고용"이라는 원칙을 지키는 것이 최선입니다. 중요한 결정에서 AI를 유일한 근거로 삼는 것은 위험합니다.
Q. 환각을 완전히 없애는 것이 가능한가요?
A. 현재 기술로는 완전한 제거가 어렵습니다. AI가 작동하는 근본 방식(확률 기반 문장 생성)과 연관되어 있기 때문입니다. 다만 AI 회사들이 지속적으로 개선 중이고, 특정 분야에 특화된 AI는 일반 AI보다 환각률이 낮습니다. 의료·법률 등 전문 분야에서는 해당 분야에 특화된 AI를 사용하는 것이 더 안전합니다.
Q. AI 환각이 꼭 나쁜 것만은 아니라는 말도 들었는데요?
A. 맞습니다. 창의적인 아이디어 발상이나 예술 분야에서 AI의 예상치 못한 답변이 오히려 새로운 영감을 줄 수 있습니다. 실제로 2024년 노벨화학상 수상자도 AI 환각을 단백질 설계에 창의적으로 활용했습니다. 하지만 사실 정보가 중요한 상황에서는 절대 환각을 용인해서는 안 됩니다.
본 글은 AI 환각 현상에 대한 일반적인 이해를 돕기 위한 정보 제공 목적으로 작성되었습니다. AI 모델별 환각률은 지속적으로 변화하며, 본문의 수치는 작성 시점 기준입니다. 의료·법률·금융 분야의 중요한 결정은 반드시 해당 분야 전문가와 상담하시기 바랍니다.
본 콘텐츠의 무단 복제 및 재배포를 금지합니다.
댓글
댓글 쓰기