컨텍스트 윈도우
AI가 한 번의 대화에서 참조할 수 있는 텍스트의 최대 양. 토큰 수로 측정된다.
쉽게 말하면
AI와 긴 대화를 나누다 보면 앞에서 했던 얘기를 AI가 모르는 것처럼 행동할 때가 있으신가요? 그건 AI의 작업 책상을 생각하면 이해가 됩니다. 책상 위에 한 번에 펼쳐놓을 수 있는 종이의 양이 정해져 있고, 그 이상 넘어가면 앞의 종이는 책상 밖으로 밀려납니다. 컨텍스트 윈도우가 바로 그 책상 크기입니다. 단, AI는 책상 가장자리에 있는 오래된 내용보다 눈앞에 있는 최근 내용에 더 주의를 기울이는 경향이 있습니다.
좀 더 정확히
컨텍스트 윈도우는 AI 모델이 한 번의 처리에서 볼 수 있는 텍스트의 총량입니다. 단위는 토큰이며, 모델마다 다릅니다. ChatGPT는 128K 토큰, Claude는 최대 200K 토큰까지 지원합니다(2026년 3월 기준). 이 안에는 대화 기록 전체, 시스템 지시사항, 첨부한 문서 등이 모두 포함됩니다. 이 한계를 넘으면 가장 오래된 내용부터 밀려나거나, 아예 처리가 불가능해집니다. AI가 ‘기억을 잃는’ 것처럼 보이는 현상의 대부분은 이 구조 때문입니다.
한눈에 보기
flowchart TB A["대화가 길어짐"] --> B["컨텍스트 한도 도달"] B --> C["오래된 내용부터 밀려남"] C --> D["최근 내용 위주로 응답"]
흔한 오해
컨텍스트 윈도우가 크면 AI가 더 오래 기억한다고 생각하기 쉽지만, 이건 장기 기억이 아닙니다. 대화 세션이 끝나면 모든 내용이 사라집니다. 무상태성 문제는 컨텍스트 윈도우 크기와 별개입니다.
또한 컨텍스트 윈도우 안의 내용을 AI가 모두 동등하게 처리한다고 생각하기 쉽지만, 실제로는 가장 최근 내용과 가장 앞부분에 주의를 더 기울이는 경향이 있습니다. 긴 문서의 중간부에 있는 내용이 상대적으로 처리 품질이 낮아질 수 있습니다.
이걸 왜 알아야 하나요?
컨텍스트 윈도우를 알면 AI와 대화하는 전략이 달라집니다. 중요한 정보는 대화 초반이나 직전에 언급하는 게 효과적이고, 첨부 문서가 길수록 실제 질문에 쓸 수 있는 공간이 줄어든다는 걸 감각적으로 이해할 수 있습니다. 긴 작업을 여러 세션으로 나눠야 할 때를 판단하는 기준이 되기도 합니다.