RAG
AI가 학습된 지식만으로 답하지 않고, 외부 자료를 실시간으로 찾아본 뒤 답변을 만드는 구조
쉽게 말하면
오픈북 시험을 떠올려보세요. 교재를 펼쳐 해당 내용을 찾아 확인한 뒤 답을 쓰는 방식이죠. RAG는 AI가 머릿속(사전학습 지식)에만 의존하지 않고, 참고자료 더미(외부 데이터베이스)를 뒤져서 관련 내용을 찾아온 다음 그걸 바탕으로 답변을 완성하는 방식입니다. 그래서 AI가 “기억하지 못하는” 최신 정보나 특정 문서의 내용도 정확하게 답할 수 있게 됩니다.
좀 더 정확히
RAG는 크게 두 단계로 작동합니다. 먼저 질문과 관련된 자료를 외부 저장소에서 검색(Retrieval)합니다. 그 다음 찾아온 자료를 프롬프트에 함께 담아 AI에게 전달하면, AI는 그 내용을 참고해 답변을 생성(Generation)합니다. Perplexity(주요 서비스 비교 참고)가 대표적인 RAG 기반 서비스로, 실시간 웹 검색 결과를 출처와 함께 답변에 반영합니다. ChatGPT나 Gemini의 검색 기능, NotebookLM의 문서 업로드, ChatGPT Projects나 Claude 프로젝트, Gemini의 Gems에 파일을 올리는 것도 모두 같은 원리입니다. 컨텍스트 윈도우에 외부 정보를 얹어주는 것이기 때문에, AI 모델 자체는 전혀 바뀌지 않습니다.
흔한 오해
AI가 인터넷을 “학습”해서 최신 정보를 아는 거라고 생각하기 쉽지만, 사전학습은 특정 시점에 끝난 훈련이고 그 이후 정보는 담겨 있지 않습니다. RAG는 모델을 다시 훈련하는 게 아니라, 답변을 만드는 순간에 필요한 자료를 찾아서 붙여주는 방식입니다.
파인튜닝과 혼동하기도 쉬운데, 파인튜닝은 모델 자체의 가중치를 변경해 특정 스타일이나 지식을 내재화하는 것입니다. 반면 RAG는 모델은 그대로 두고 외부 정보를 실시간으로 주입하는 방식이라 유연하고 업데이트가 쉽습니다.
이걸 왜 알아야 하나요?
AI가 틀린 답을 내놓거나 오래된 정보를 말할 때, 단순히 “AI가 그렇게 학습됐겠지”라고 넘기지 않아도 됩니다. RAG가 연결되어 있는지, 어떤 자료를 검색하도록 설정되어 있는지에 따라 답변의 정확도가 크게 달라지기 때문입니다. 업무에서 AI에게 사내 문서나 특정 보고서를 올려 활용한다면, 그건 이미 RAG 원리를 쓰고 있는 것입니다. 환각 문제를 줄이는 실질적인 방법 중 하나이기도 합니다.