검증
AI가 출력한 내용이 사실인지, 의도한 바와 맞는지 확인하는 습관.
쉽게 말하면
GPS 안내를 따라가다 길이 이상하다 싶으면 한 번쯤 지도를 직접 확인하시죠? AI도 마찬가지입니다. 자신감 있게 말하더라도 틀릴 수 있습니다. 검증은 “AI를 못 믿는다”가 아니라 “내가 결과에 책임을 진다”는 태도입니다.
좀 더 정확히
AI는 확률적 생성 방식으로 텍스트를 만들기 때문에, 그럴듯하게 들리는 잘못된 정보를 출력할 수 있습니다. 이를 환각이라고 합니다. AI가 인용한 수치, 날짜, 고유명사, 법적 사실은 특히 오류 가능성이 높습니다. 검증은 세 단계로 이루어집니다. 첫째, 핵심 사실 항목을 뽑아냅니다. 둘째, 신뢰할 수 있는 출처(공식 문서, 뉴스, 학술 자료)와 대조합니다. 셋째, AI 결과물과 차이가 있다면 수정하거나 프롬프트를 다시 작성합니다.
한눈에 보기
flowchart TD A["AI 답변 받기"] --> B["1단계: 핵심 사실 추출"] B --> C["2단계: 공식 출처 대조"] C --> D{"일치하는가?"} D -->|"예"| E["사용 가능"] D -->|"아니오"| F["수정 후 재질문"] F --> B
흔한 오해
“AI가 출처를 알려주면 믿어도 된다”는 생각은 위험합니다. AI는 실제로 존재하지 않는 논문이나 URL을 환각으로 만들어내기도 합니다. 출처가 있어 보여도 실제로 열어서 확인하는 것이 검증의 핵심입니다.
이걸 왜 알아야 하나요?
업무 보고서, 계약서, 의료 정보, 법률 내용처럼 정확성이 중요한 상황에서 AI 결과를 검증 없이 사용하면 실질적인 피해가 생길 수 있습니다. 반대로 검증 습관이 있으면 AI를 더 적극적으로 활용할 수 있습니다. 믿음이 생기면 더 대담하게 쓸 수 있으니까요.
직접 해보기
ChatGPT, Claude, Gemini 중 하나에게 최근 사건이나 특정 날짜의 사실을 물어보세요. 예를 들어 “2024년 노벨 물리학상 수상자가 누구야?” 같은 질문입니다. AI의 답을 받은 뒤 검색엔진으로 직접 확인해보세요. 맞았는지 틀렸는지, 그리고 AI가 어떤 방식으로 답했는지를 비교하는 것만으로도 검증의 감이 잡힙니다.
AI가 만든 것이 글이 아니라 도구(엑셀 수식, 자동화 스크립트, 웹페이지 등)라면, 직접 실행해서 의도대로 작동하는지 확인하는 것이 검증의 핵심입니다. 버튼이 있으면 눌러보고, 저장 기능이 있으면 저장해보고, 계산식이 있으면 다른 숫자를 넣어봅니다.
검증은 새 세션에서
시험지를 쓴 사람이 직접 채점하면 실수를 못 찾기 쉽습니다. AI도 마찬가지입니다. 같은 대화 안에서 “이거 맞아?”라고 물으면 자기가 만든 결과에 긍정 편향을 보이기 쉽습니다. “맞습니다”라고 답할 가능성이 높다는 뜻입니다.
검증의 정확도를 높이는 세 가지 방법이 있습니다.
- 새 세션 열기 - 같은 AI라도 새 대화창에서 결과를 검토하면 이전 맥락에 끌려가지 않습니다. 컨텍스트 오염이 없는 깨끗한 상태에서 판단합니다.
- 다른 LLM 사용 - Claude로 만들었으면 ChatGPT나 Gemini로 검토합니다. 모델마다 학습 데이터와 추론 방식이 달라서 같은 실수를 반복할 확률이 낮아집니다.
- 직접 확인 - 코드는 실행하고, 수치는 검색으로 확인하고, 글은 직접 읽습니다. AI의 검증도 결국 확률적 생성이라는 점을 기억하세요.