AI는 어떻게 배우는가
AI의 능력은 수개월에 걸친 사전학습과 파인튜닝으로 만들어진다. 대화 중 주고받는 맥락은 학습이 아니다.
먼저 읽으면 좋은 글
AI란 무엇인가를 읽고 오시면 이 글이 더 쉽게 느껴집니다.
쉽게 말하면
AI에게 뭔가를 알려주면 AI가 그걸 기억해서 더 똑똑해진다고 느끼신 적 있으신가요? 충분히 그렇게 보일 수 있습니다. 하지만 실제 AI 학습은 대화와는 완전히 다른 곳에서 일어납니다.
수험생이 수년간 교과서로 공부하는 것과, 시험 당일 시험지 위의 참고 자료를 읽는 것은 다릅니다. AI의 사전학습은 전자에 가깝습니다. 수조 개의 단어로 이뤄진 방대한 텍스트를 처리하면서 언어의 패턴, 사실 관계, 논리 구조를 수치로 내부에 새겨 넣는 과정입니다. 이 과정은 엄청난 컴퓨팅 자원이 들고, 수개월이 걸리기도 합니다.
대화 중 전달하는 정보는 시험지 위의 참고 자료에 더 가깝습니다. 그 대화 안에서는 활용되지만, 대화가 끝나면 사라집니다.
좀 더 정확히
AI의 학습 과정은 크게 두 단계로 나눌 수 있습니다.
사전학습(pre-training): LLM을 만드는 첫 단계입니다. 인터넷에 존재하는 방대한 텍스트, 책, 논문, 코드 등을 재료로 삼아 “이 맥락 다음엔 어떤 단어가 올 가능성이 높은가”를 반복적으로 예측하며 파라미터를 조정합니다. 벡터화를 통해 언어의 의미적 관계도 수치 구조로 반영됩니다. 이 단계를 거치면 언어 전반을 다룰 수 있는 범용 모델이 만들어집니다.
파인튜닝(fine-tuning): 범용 모델을 특정 용도에 맞게 추가로 조정하는 단계입니다. ChatGPT가 대화 형식에 맞게 답하도록, Claude가 특정 스타일로 응답하도록 만드는 과정이 여기에 해당합니다. 사전학습보다 훨씬 적은 데이터와 자원이 들지만, 여전히 일반 대화와는 완전히 다른 작업입니다. 파인튜닝에서 더 자세히 다룹니다.
대화 중 맥락 제공: 사용자가 대화에서 “나는 중학교 교사야”라고 말하거나 참고 자료를 붙여 넣는 것은 사전학습도, 파인튜닝도 아닙니다. 해당 대화가 진행되는 동안 컨텍스트 윈도우 안에 정보가 담기는 것일 뿐입니다. 대화가 새로 시작되면 이전 내용은 포함되지 않습니다.
세 단계 비교
flowchart TB subgraph step1["1단계: 사전학습"] direction LR A1["방대한 일반 데이터"] --> B1["수개월 학습"] --> C1["범용 능력 형성"] end subgraph step2["2단계: 파인튜닝"] direction LR A2["특정 목적 데이터"] --> B2["추가 학습"] --> C2["분야별 성능 보정"] end subgraph step3["대화 중: 맥락 제공"] direction LR A3["사용자 상황/조건 입력"] --> B3["세션 내 임시 반영"] --> C3["대화 종료 시 초기화"] end step1 --> step2 --> step3
흔한 오해
“내가 AI에게 알려주면 AI가 학습한다”
가장 흔한 오해입니다. 대화 중 정보를 제공하면 그 대화 안에서는 반영되지만, AI 모델 자체가 바뀌지는 않습니다. AI가 응답을 만들어내는 과정(추론)과 AI를 처음 만드는 과정(학습)은 완전히 별개입니다. 여기서 새로운 용어가 하나 등장합니다. 추론(inference)이란 이미 학습을 마친 AI가 입력을 받아 확률적 생성으로 응답을 만들어내는 과정입니다. 시험을 치르는 중에 실력이 느는 것이 아닌 것처럼, AI도 대화하는 중에 내부 구조가 달라지지는 않습니다. ChatGPT에 새로운 정보를 입력했다고 해서 그 즉시 다른 사람의 ChatGPT가 달라지는 건 아닙니다.
“AI가 나쁜 내용을 배워서 이상하게 반응하는 거다”
대화 중 입력한 내용이 실시간으로 AI의 성격이나 지식을 바꾸지는 않습니다. AI가 이상하게 반응하는 경우는 대부분 사전학습 데이터의 특성이나 컨텍스트 오염 때문입니다. 다만, 많은 사용자의 대화 데이터가 수집되어 향후 모델 개선에 활용될 수는 있습니다. 이는 대화 중 자동으로 일어나는 것이 아니라 서비스 제공자가 별도의 학습 과정을 거쳐 다음 버전에 반영하는 방식이며, 대부분의 서비스에서 설정을 통해 끌 수 있습니다.
“학습”이라는 단어의 혼용 주의
“AI가 학습했다”는 표현은 사전학습이나 파인튜닝을 의미하는 경우가 대부분입니다. 반면 대화 중 맥락을 제공하는 것은 학습이 아니라 맥락 제공(context provision)에 가깝습니다. 같은 단어가 두 의미로 쓰이다 보니 혼동이 생깁니다.
이걸 왜 알아야 하나요?
이 구분을 모르면 AI를 쓸 때 기대치가 어긋납니다. “어제 얘기한 거 기억하지?”라고 물었을 때 AI가 모른다고 하면 당황스럽습니다. 반대로, AI가 내 대화를 저장해서 자기 학습에 쓴다고 걱정하기도 합니다. 실제로 어떻게 작동하는지 알면, AI를 더 정확히 쓸 수 있습니다. 새 대화를 시작할 때마다 필요한 맥락을 다시 주는 것이 가장 효과적인 사용 방법이라는 것도 여기서 나옵니다.