환각
AI가 사실이 아닌 정보를 자신 있게 말하는 현상. 거짓말이 아니라, 확률적으로 그럴듯한 텍스트를 생성한 결과다.
쉽게 말하면
AI에게 특정 논문이나 책을 물어봤더니 정확한 제목과 저자까지 대답했는데 실제로 존재하지 않는 경우가 있습니다. AI가 일부러 속이는 게 아닙니다. AI 입장에서는 그 맥락에서 나올 법한 자연스러운 답을 생성했을 뿐입니다. 마치 빈칸 채우기를 아주 잘 하는 사람이 정답을 모를 때도 그럴듯한 답을 자신 있게 쓰는 것처럼, AI는 틀렸다는 신호 없이 계속 생성을 이어갑니다.
좀 더 정확히
환각은 AI가 확률적 생성 과정에서 사실 여부를 확인하지 않고 문맥상 그럴듯한 텍스트를 만들어내는 현상입니다. AI는 ‘이 내용이 사실인가’를 판단하는 검증 체계가 없습니다. 학습 데이터에서 자주 함께 나타났던 패턴을 바탕으로 생성하기 때문에, 실제로 존재하지 않는 인물, 논문, 날짜, 통계 수치도 그럴듯하게 만들어낼 수 있습니다. 특히 구체적인 숫자, 고유명사, 출처 정보에서 환각이 자주 발생합니다. 검색 기능이 연동된 AI라도 검색 결과를 잘못 해석하거나 없는 내용을 덧붙여 생성할 수 있으므로, 검색 기반 AI의 결과도 검증이 필요합니다.
한눈에 보기
flowchart TB A["질문 입력"] --> B["학습된 패턴 기반 생성"] B --> C{"사실 검증 단계?"} C -->|"없음"| D["그럴듯한 답 생성"] D --> E["실제 사실과 불일치 가능"] E --> F["검증 필요"]
흔한 오해
AI가 환각을 일으키는 건 AI가 부족하거나 멍청해서라고 생각하기 쉽지만, 이는 현재 LLM 구조의 본질적 특성입니다. 아무리 좋은 모델도 환각에서 완전히 자유롭지 않습니다. 다만 더 좋은 모델일수록 빈도가 낮아질 뿐입니다.
환각된 내용은 어딘가 어색할 것이라고 생각하기 쉽지만, 실제로는 매우 자연스럽고 정확해 보이는 문장으로 나옵니다. 오히려 그래서 더 위험합니다.
환각은 항상 나쁜 것이라고 생각하기 쉽지만, 맥락에 따라 다릅니다. 시험 답안지에 없는 내용을 지어내면 0점이지만, 소설이나 캐릭터를 만들 때는 “없는 걸 만들어내는 능력”이 오히려 강점입니다. 이야기 창작, 브레인스토밍, 게임 시나리오 구성처럼 상상력이 중요한 작업에서는 AI의 환각이 아이디어의 재료가 됩니다. 핵심은 지금 하는 작업이 정확함이 필요한 건지, 창의성이 필요한 건지 구분하는 것입니다. 사실 확인이 필요한 작업에서는 반드시 검증을 거쳐야 합니다.
이걸 왜 알아야 하나요?
AI 결과물을 그대로 사용하면 환각된 내용도 함께 쓰게 됩니다. 특히 사실 확인이 필요한 숫자, 출처, 고유명사는 반드시 검증 과정을 거쳐야 합니다. 이걸 알면 AI를 불신하는 게 아니라 적절히 활용하는 방향이 보입니다. 아이디어 발산, 초안 작성, 구조 잡기에는 믿을 수 있고, 사실 기반 정보는 검증이 필수라는 분업이 가능해집니다.
직접 해보기
AI에게 이렇게 물어보세요. “2023년 옥스퍼드 대학교 AI 윤리 학술지에 실린 논문 중 추천할 만한 것 있나요?” 실제로 존재하지 않는 논문 제목과 저자를 자신 있게 말할 가능성이 높습니다. 이게 환각입니다.