온도
AI가 다음 토큰을 선택할 때 확률 분포를 얼마나 넓게 허용할지 결정하는 파라미터. 낮을수록 예측 가능하고, 높을수록 다양하고 불안정하다.
먼저 읽으면 좋은 글
확률적 생성을 읽고 오시면 이 글이 더 쉽게 느껴집니다.
쉽게 말하면
같은 질문을 AI에게 여러 번 던졌을 때 매번 조금씩 다른 답이 나오는 걸 경험하신 적 있으신가요? 그 무작위성의 정도를 조절하는 설정이 온도(temperature)입니다.
요리사에게 부탁하는 상황으로 생각해볼 수 있습니다. “평소 레시피 그대로 만들어주세요”라고 하면 늘 같은 맛이 나옵니다. “오늘은 즉흥으로 만들어보세요”라고 하면 예상치 못한 조합이 나오기도 합니다. 때로는 훨씬 맛있고, 때로는 실패합니다. AI의 온도가 낮으면 전자, 높으면 후자에 가깝습니다.
좀 더 정확히
확률적 생성에서 AI는 매 토큰마다 “다음에 올 수 있는 단어들의 확률 분포”를 계산합니다. 온도는 이 분포의 모양을 변형합니다.
온도가 0에 가까울수록 가장 높은 확률의 토큰이 거의 확정적으로 선택됩니다. 결과가 안정적이고 반복 가능합니다. 사실 확인, 번역, 코드 작성처럼 정확성이 중요한 작업에 적합합니다.
온도가 1에 가깝거나 그 이상이면 낮은 확률의 토큰도 선택될 여지가 생깁니다. 결과가 다양하고 창의적이지만, 그만큼 예상 밖의 방향으로 흐르거나 환각이 발생할 가능성도 함께 올라갑니다. 아이디어 발산, 이야기 창작, 브레인스토밍 같은 작업에 더 잘 맞을 수 있습니다.
ChatGPT나 Claude 같은 일반 서비스에서는 온도를 직접 수치로 입력하기 어려운 경우가 많습니다. 그러나 이 서비스들도 내부적으로 온도 설정을 사용하고 있으며, API를 통해 직접 접근할 때는 명시적으로 조절할 수 있습니다. 또한 일부 서비스는 “창의적 모드”처럼 온도를 간접적으로 조절하는 인터페이스를 제공하기도 합니다.
이걸 왜 알아야 하나요?
온도 개념을 알면 AI의 응답 일관성에 대한 기대치를 조정할 수 있습니다. 같은 질문에 다른 답이 나오는 게 오류가 아니라 설계의 일부라는 걸 이해하게 됩니다.
또한 작업 성격에 따라 AI에게 어떤 방식으로 요청하면 좋을지 감이 생깁니다. 정확한 정보가 필요한 작업에서는 “일관성 있게 답해줘”, “하나만 골라줘”처럼 좁히는 방식의 지시가 도움이 될 수 있고, 아이디어를 넓게 펼치고 싶은 작업에서는 여러 번 질문해 다양한 결과를 수집하는 방식도 유효합니다.