확률적 생성
AI가 텍스트를 만드는 방식. 정해진 답을 꺼내는 게 아니라, 매 순간 ‘다음에 올 가장 그럴듯한 조각’을 확률적으로 선택한다.
먼저 읽으면 좋은 글
AI란 무엇인가를 읽고 오시면 이 글이 더 쉽게 느껴집니다.
쉽게 말하면
AI에게 같은 질문을 두 번 했을 때 답이 조금씩 달랐던 적 있으신가요? AI는 정답을 저장해두고 꺼내는 게 아닙니다. 매번 주사위를 굴리듯, 학습한 패턴을 바탕으로 다음에 올 단어를 확률적으로 고릅니다. 다만 모든 면이 같은 확률인 보통 주사위가 아니라, 특정 면이 훨씬 잘 나오는 편향된 주사위입니다. 가장 그럴듯한 선택을 하지만, 그 선택 자체에는 약간의 무작위성이 있습니다.
좀 더 정확히
LLM은 토큰 단위로 텍스트를 생성합니다. 각 단계에서 “지금까지의 문맥을 고려할 때, 다음 토큰이 무엇일 확률이 얼마나 되는가”를 계산합니다. 후보 단어들에 각각 점수가 매겨져 있고, 그 점수를 기준으로 하나를 고릅니다. 이 점수표를 확률 분포라고 합니다. 이 과정이 토큰마다 반복됩니다. 여기서 무작위성의 정도를 조절하는 파라미터가 온도입니다. 온도가 낮으면 항상 가장 높은 확률의 토큰을 선택해 예측 가능한 답이 나오고, 온도가 높으면 낮은 확률의 선택도 하게 되어 더 창의적이지만 불안정한 답이 나옵니다. AI가 수학을 잘 못하거나, 매번 다른 답을 내거나, 그럴듯하지만 틀린 정보를 말하는 현상 모두 이 구조에서 비롯됩니다.
한눈에 보기
flowchart LR A["입력 문맥<br/>'오늘 날씨가'"] --> B{"다음 토큰 후보"} B -->|"35%"| C["좋다"] B -->|"25%"| D["춥다"] B -->|"20%"| E["맑다"] B -->|"20%"| F["기타"] C --> G["문장 이어서 생성"] D --> G E --> G F --> G
흔한 오해
AI가 질문의 ‘정답’을 데이터베이스에서 찾아서 반환한다고 생각하기 쉽지만, AI의 핵심은 맥락에 맞는 텍스트를 확률적으로 생성하는 것입니다. 웹 검색 기능이 연동된 경우에도 검색 결과를 ‘참고’해서 답변을 생성하는 구조는 동일합니다. 이 때문에 같은 질문에 다른 답이 나오고, 환각도 발생합니다.
이걸 왜 알아야 하나요?
확률적 생성을 알면 AI의 강점과 약점이 명확하게 보입니다. 언어적으로 자연스러운 텍스트 생성, 요약, 아이디어 발산 같은 작업에는 탁월하지만, 정확한 수치 계산이나 사실 확인에는 구조적으로 취약합니다. AI를 쓸 때 어떤 작업에 신뢰를 두고 어떤 결과를 반드시 검증해야 하는지 판단하는 기준이 됩니다.
관련 개념
- 토큰 - 확률적 생성의 기본 단위
- 환각 - 확률적 생성 과정에서 발생하는 그럴듯한 오류
- 온도 - 생성의 무작위성을 조절하는 파라미터
- 벡터화 - 확률 계산의 기반이 되는 의미 표현 방식
- AI는 어떻게 배우는가 - 이 생성 과정(추론)과 AI를 만드는 과정(학습)은 완전히 별개