파인튜닝
범용 AI 모델을 특정 용도에 맞게 추가 학습시키는 과정. 처음부터 만드는 것이 아니라, 이미 만들어진 모델을 다듬는 일이다.
쉽게 말하면
의대를 졸업한 의사를 떠올려 보세요. 의대 6년 동안 인체 전반을 공부한 그 의사가, 이후 피부과 전문의 과정을 밟습니다. 피부과 수련 이전에도 의사이지만, 수련을 마친 후엔 피부 질환에 훨씬 더 정확하고 적절하게 반응할 수 있게 됩니다. 파인튜닝이 바로 이 전문의 과정에 해당합니다.
ChatGPT, Claude, Gemini 같은 AI는 처음부터 “대화를 잘 하는 AI”로 만들어진 것이 아닙니다. 먼저 방대한 텍스트로 언어 전반을 익힌 범용 모델이 만들어지고, 그 다음에 파인튜닝을 통해 “대화에 적합한 방식으로 답하는 AI”로 다듬어집니다.
좀 더 정확히
AI 개발은 크게 세 단계로 이루어집니다.
1단계 — 사전학습(pre-training): 인터넷 텍스트, 책, 논문 등 수조 개의 단어를 재료로 언어의 패턴과 지식을 흡수하는 단계입니다. 여기서 범용 LLM이 만들어집니다. 수개월이 걸리고, 수천억 원 규모의 컴퓨팅 비용이 들기도 합니다.
2단계 — 파인튜닝(fine-tuning): 사전학습으로 만들어진 범용 모델을 특정 목적에 맞게 추가 학습시키는 단계입니다. “좋은 대화 방식”의 예시 데이터를 주고, 모델이 그 패턴을 따르도록 조정합니다. 사전학습보다 훨씬 적은 데이터와 비용으로 진행됩니다.
3단계 — 사람의 평가로 조정(RLHF): 파인튜닝의 한 방식으로, 사람이 AI의 여러 응답에 “이 답변이 더 좋다”고 알려주면 AI가 더 선호되는 응답 방향으로 학습합니다. ChatGPT가 출시 초기에 “더 도움이 되고 덜 해로운” 방향으로 조정된 것이 대표적인 사례입니다.
파인튜닝은 일반 개발사나 기업도 수행합니다. 자사 서비스에 특화된 어조, 도메인 지식, 응답 형식을 갖추기 위해 기존 공개 모델에 파인튜닝을 적용하는 경우가 늘고 있습니다.
흔한 오해
“같은 모델인데 서비스마다 다르게 느껴지는 건 그냥 설정 차이다”
서비스마다 느껴지는 차이는 단순한 설정 차이가 아닌 경우가 많습니다. 기반 모델이 같더라도 파인튜닝 방향이 다르면 어조, 스타일, 거절 기준까지 달라집니다. 프롬프트 설정도 영향을 주지만, 파인튜닝은 그보다 훨씬 근본적인 수준에서 모델을 바꿉니다.
“대화를 많이 하면 AI가 파인튜닝된다”
대화 중 제공하는 정보는 맥락 제공이지 파인튜닝이 아닙니다. 파인튜닝은 모델의 파라미터 자체를 바꾸는 작업입니다. 사용자가 AI와 대화하는 것만으로 모델이 갱신되지는 않습니다. 이 구분은 AI는 어떻게 배우는가에서 더 자세히 다룹니다.
“파인튜닝은 개발자나 연구자만 하는 일이다”
과거에는 그랬지만, 지금은 기업이나 팀 단위로 파인튜닝을 적용하는 사례가 많아졌습니다. 오픈소스 vs 클로즈드 모델 중 오픈소스 모델은 직접 파인튜닝해서 자사 서비스에 올릴 수 있습니다.
이걸 왜 알아야 하나요?
“왜 ChatGPT와 Claude는 같은 종류의 AI인데 느낌이 다를까?”, “왜 기업용 AI 챗봇은 일반 AI와 다르게 답할까?” 이런 질문의 답이 파인튜닝에 있습니다.
직접 파인튜닝을 할 일은 거의 없더라도, 이 개념을 알면 AI 서비스들이 왜 각자의 색깔을 갖는지 이해할 수 있습니다. 또한 “이 AI는 왜 이런 방향으로만 답하지?”라고 느낄 때, 그 이유가 우연이 아니라 의도된 학습의 결과임을 알게 됩니다.
관련 개념
- AI는 어떻게 배우는가 - 사전학습, 파인튜닝, 맥락 제공의 전체 흐름
- LLM - 파인튜닝의 기반이 되는 대형 언어 모델
- 학습 데이터 - 파인튜닝에 사용되는 예시 데이터의 역할
- 오픈소스 vs 클로즈드 - 직접 파인튜닝 가능한 모델과 그렇지 않은 모델의 차이
- 맥락 제공 - 파인튜닝과 혼동하기 쉬운, 대화 중 정보 전달 방식
- API - 파인튜닝된 모델을 서비스에 연결하는 방법