“토큰이 부족하다는데 토큰이 뭐야?” “컨텍스트 윈도우가 크다는데 그게 좋은 거야?” “AI가 환각을 한다길래, 꿈이라도 꾸나?” — ChatGPT, Claude, Gemini를 쓰다 보면 설정창과 도움말, 뉴스 기사에서 이런 낯선 단어를 계속 마주칩니다. 화면은 한국어인데 정작 중요한 개념어는 풀어 설명해 주는 곳이 없어서 대충 넘기는 분이 많습니다. 문제는 이 세 단어를 모르면 “왜 답이 중간에 잘리지?”, “왜 긴 문서는 한 번에 안 들어가지?”, “왜 그럴듯하게 거짓말을 하지?” 같은 현상의 원인을 짚을 수 없다는 겁니다.
이 글은 5분 안에 읽고 GPT를 쓸 때 꼭 알아야 할 세 단어 — 토큰, 컨텍스트 윈도우, 환각을 정리합니다. 각 용어마다 “그래서 내 화면에서 어떻게 보이는가”를 ChatGPT·Claude·Gemini에서 직접 확인하는 방법으로 풀고, 초보가 흔히 빠지는 오해와 한계도 짚습니다. 도구 사용법이 아니라 개념을 먼저 잡는 글입니다.
왜 “도구 사용법 글”과 다른가? 우리 블로그의 PDF 요약 가이드나 AI 번역 도구 비교는 “어떤 도구로 무엇을 하라”는 실전이었습니다. 이 글은 그 앞단계 — 도구 화면에 뜨는 단어의 뜻을 먼저 알아야 실전도 제대로 쓴다는 취지로, 새 ‘AI 용어 사전’ 시리즈의 첫 글입니다.
3가지 용어 한눈에 보기
이 섹션에서 배우는 것: 세 단어를 한 줄씩 먼저 훑고, 각각이 내 화면에서 어떤 현상으로 나타나는지 보기.
| 용어 | 한 줄 정의 | 내 화면에서는 | 이걸 모르면 생기는 일 |
|---|---|---|---|
| 토큰 (token) | AI가 글을 셀 때 쓰는 ‘기본 세는 단위‘ | “이 답변은 N 토큰을 사용했습니다” | 왜 요금/한도가 글자 수랑 안 맞는지 헷갈림 |
| 컨텍스트 윈도우 (context window) | AI가 한 번에 ‘기억’할 수 있는 글의 양 | 긴 문서를 넣었더니 “너무 깁니다” 오류 | 왜 앞부분을 갑자기 잊는지 모름 |
| 환각 (hallucination) | 그럴듯하지만 틀린 답을 지어내는 현상 | 없는 논문·안 되는 기능을 진짜처럼 말함 | 틀린 답을 믿고 일에 써버림 |
⚠️ 토큰 계산 방식과 컨텍스트 윈도우 크기는 모델·플랜마다 다르고 수시로 바뀝니다. 이 글은 2026년 8월 기준의 개념 설명이며, 정확한 수치는 각 사 공식 문서에서 확인하세요. 출처: OpenAI 토크나이저, OpenAI 요금제, Anthropic 요금제, Gemini 요금제
용어 1: 토큰(token) — “글자 수가 아니라, AI가 세는 단위”
이 섹션에서 배우는 것: 토큰이 무엇인지, 왜 한국어가 더 비싸게 먹히는지, 그리고 내 화면에서 토큰이 어디에 보이는지.
토큰은 AI가 글을 읽고 쓸 때 쪼개는 **‘기본 세는 단위’**입니다. 사람은 글자나 단어로 세지만, AI는 글을 의미가 담긴 조각(토큰) 단위로 자른 뒤 그 조각을 처리합니다. 영어는 대략 ‘1토큰 ≈ 4글자’ 또는 ‘약 ¾단어’ 정도로 잡히고 — 이건 OpenAI가 자체 토크나이저 페이지에서 보여주는 일반적 안내치입니다. 핵심은 토큰 수가 우리가 세는 글자 수나 단어 수와 일치하지 않는다는 점입니다. 그래서 “200자만 적었는데 왜 토큰이 많이 나오지?” 하는 궁금증이 생깁니다.
chatgpt.com 홈페이지
한국어에서 이 차이는 더 큽니다. 영어는 한 단어가 1~2토큰이면 충분한 경우가 많지만, 한국어는 한 글자가 여러 토큰으로 쪼개지는 일이 잦습니다. 같은 뜻의 문장이라도 한국어로 쓴 쪽이 영어보다 더 많은 토큰을 쓰는 경향이 있어서, 한도나 요금을 신경 쓰는 상황에서는 의외로 빨리 한도에 닿을 수 있습니다. 정확한 환산은 모델마다 다르므로, 아래처럼 직접 눈으로 확인하는 것이 가장 확실합니다.
5분 안에 직접 확인하기
- platform.openai.com/tokenizer 에 접속해 입력창에 한국어 문장과 영어 문장을 각각 붙여넣어 봅니다. 같은 뜻이라도 토큰 수가 어떻게 다른지 비교합니다.
- chatgpt.com 에서 한 글자만 입력하고 답을 받은 뒤, “이 답변은 몇 토큰을 사용했어?”라고 물어봅니다. 모델 자체 보고는 부정확할 수 있지만, 설정의 사용량 화면에서 실제 사용량을 확인할 수 있습니다.
- 긴 글을 붙여넣기 전에 “이 글은 대략 몇 토큰 정도일 것 같아?”라고 미리 물어보면, 전체를 보낸 뒤 “너무 깁니다” 오류를 만나는 횟수를 줄일 수 있습니다.
잘 안 되는 경우
- 비용·한도를 토큰 수로 정확히 예측하려는 경우: 토큰 환산은 모델과 버전에 따라 달라서, “이 글은 정확히 N토큰”으로 고정할 수 없습니다. 요금·한도가 중요한 업무라면 모델 스스로의 토큰 추정이 아니라 공식 사용량 통계를 기준으로 삼으세요.
- 한국어 토큰 절약을 위해 영어로만 질문하려는 경우: 억지로 영어로 물으면 답의 뉘앙스가 달라지고 번역 비용이 오히려 더 듭니다. 토큰 절약보다는 한 번에 너무 긴 글을 통째로 넣는 습관을 줄이는 것이 실용적입니다.
토큰 개념은 결국 ‘AI가 한 번에 얼마나 읽을 수 있는가’로 이어집니다. 그 한계량이 바로 다음 용어, 컨텍스트 윈도우입니다.
용어 2: 컨텍스트 윈도우(context window) — “AI가 한 번에 기억하는 양”
이 섹션에서 배우는 것: 컨텍스트 윈도우가 왜 ‘기억력’과 직결되는지, 그리고 왜 긴 문서가 안 들어가거나 앞부분이 잘리는지.
컨텍스트 윈도우는 AI가 한 번의 대화에 담아 ‘동시에 기억’할 수 있는 최대 토큰 수입니다. 책상에 한 번에 펼쳐놓을 수 있는 책의 양이라고 생각하면 됩니다. 창(window)이 크면 한 번에 많은 자료를 올려놓고 비교할 수 있고, 창이 작으면 앞에 올린 자료를 치워야 다음 자료를 볼 수 있습니다. “대화가 길어지니까 AI가 처음에 말한 걸 잊어버려”라는 현상은, 대화 누적 분량이 컨텍스트 윈도우를 넘어섰기 때문입니다.
claude.ai 홈페이지
최근 모델들은 이 창이 커져서 긴 문서를 한 번에 넣는 일이 훨씬 쉬워졌습니다. 다만 ‘창이 크다 = 끝까지 완벽히 기억한다’는 아니라는 점을 주의해야 합니다. 창 안에 들어간다고 해서 정중앙에 있는 내용과 맨 끝에 있는 내용을 똑같은 정밀도로 기억하지는 않으며, 자료가 길어질수록 중간 세부내용을 놓치는 경우가 생깁니다. 그래서 “들어가긴 했는데 핵심을 놓친다”면 창이 작아서가 아니라 정밀도의 한계일 수 있습니다.
5분 안에 직접 확인하기
- claude.ai 에서 긴 PDF 하나를 업로드한 뒤(예: 수십 쪽짜리 보고서), “목차에 있는 챕터 제목을 전부 나열해 줘”라고 물어봅니다. 한 번에 들어가는지, 어디서 잘리는지 확인합니다.
- 같은 문서로 “서론의 첫 문장과 결론의 마지막 문장을 각각 인용해 줘”라고 물어보면, 양끝을 동시에 기억하는지 확인할 수 있습니다.
- 긴 대화를 이어가다가 “처음에 내가 뭐라고 했지?”를 물어보세요. 대화가 누적되어 컨텍스트 윈도우를 넘으면 처음 내용이 빠지는 시점을 체감할 수 있습니다.
잘 안 되는 경우
- 기밀문서를 한 번에 통째로 넣는 경우: 컨텍스트 윈도우가 크다고 해서 민감정보(고객 데이터, 계약 금액 등)를 올려도 되는 것은 아닙니다. 각 AI 서비스의 이용약관과 회사 보안 규정을 먼저 확인하고, 필요한 부분만 발췌해 넣으세요.
- ‘들어갔으니 정확하겠지’라고 믿는 경우: 창 안에 들어간 것과 정밀하게 기억한 것은 다릅니다. 숫자·통계·인용문처럼 틀리면 안 되는 부분은 AI 답변을 그대로 쓰지 말고, “이 부분이 원문 몇 쪽에 있어?”를 확인한 뒤 원본과 대조하세요.
⚠️ 컨텍스트 윈도우의 정확한 크기는 모델·플랜마다 다릅니다. 유료 플랜일수록 더 큰 창을 쓸 수 있는 경우가 많으며, 최신 수치는 Anthropic 요금제와 Gemini 요금제에서 확인하세요. 이 글에 특정 수치를 적지 않은 이유도 같습니다 — 빠르게 바뀌기 때문입니다.
용어 3: 환각(hallucination) — “그럴듯하게 지어내는 현상”
이 섹션에서 배우는 것: 환각이 왜 생기는지, 어떻게 생긴 답인지 알아보는 법, 그리고 이걸 100% 막을 수 없다는 현실.
환각은 AI가 마치 사실인 것처럼, 그러나 실제로는 틀린 내용을 자신 있게 말하는 현상입니다. 이름이 좀 극적으로 들리지만, 겪어보면 꽤 평범하게 나타납니다. 존재하지 않는 논문을 제목과 저자까지 지어서 추천하거나, 실제로는 없는 기능을 “설정에서 켜면 됩니다”라고 안내하거나, 인물의 약력을 그럴싸하게 뒤섞습니다. 문제는 틀린 답이 정답처럼 또박또박 나온다는 것입니다. AI가 머뭇거리거나 “모르겠다”고 하면 오히려 의심이 쉬운데, 환각은 그 신호가 없습니다.
gemini.google.com 홈페이지
왜 생길까요? 오늘날의 대화형 AI는 ‘사실을 저장한 데이터베이스’가 아니라, **‘다음에 올 적절한 말을 확률로 이어 만들어내는 모델’**에 가깝습니다. 그래서 기억이 안 나는 구멍을 “그럴듯한 말”로 메우는 경우가 생깁니다. 이걸 완전히 없애는 스위치는 현재로선 없고, “줄이고 검증하는” 방향으로 다뤄야 합니다. 그래서 환각을 아는 시점부터 AI의 답은 ‘초안’이지 ‘사실’이 아니라는 태도가 중요합니다.
5분 안에 직접 확인하기
- gemini.google.com 이나 chatgpt.com 에서 “우리 동네에 있는 ‘가짜카페 이름’ 소개해 줘”처럼 실제로 없는 이름을 진짜처럼 물어봅니다. 없다고 잡아내는지, 아니면 주소와 메뉴까지 지어내는지 관찰합니다.
- AI가 추천한 논문·책·링크가 있다면, 제목을 그대로 복사해 구글·학술 검색에 넣어 실제로 존재하는지 확인합니다. 안 나오면 환각입니다.
- 사실 확인이 중요한 답을 받았다면 “이 답의 근거 출처를 공식 문서나 링크로 줘”라고 한 번 더 물어보세요. 근거를 못 대거나 모순된 답이 나오면 신뢰도를 낮춰 봅니다.
잘 안 되는 경우
- 법적·의료·금융 정보를 AI 답 그대로 쓰는 경우: 환각은 분야를 가리지 않지만, 틀리면 피해가 큰 영역에서는 특히 위험합니다. 진단·투자·법령 해석 같은 내용은 반드시 전문가나 공식 출처로 최종 확인하세요.
- 한국어로 물어봐서 한국 사실을 검증하기 어려운 경우: 해외 자료가 주 학습 대상이라 국내 인물·제도·최근 뉴스는 환각 확률이 더 높습니다. 최신 정보나 국내 특화 사실은 뉴스·공식 기관 사이트를 1차 소스로 두세요.
환각을 줄이는 더 구체적인 수단(출처를 강제하는 도구 활용 등)은 앞으로 이 시리즈에서 다룹니다. 출처를 붙여주는 성격의 도구가 궁금하다면 한국어 잘하는 AI 순위 (2026)의 ‘자료 조사’ 항목을 참고하세요.
세 용어가 어떻게 연결되는가
이 섹션에서 배우는 것: 토큰·컨텍스트 윈도우·환각이 따로 노는 게 아니라, 한 흐름으로 이어진다는 걸 보기.
셋을 따로 외우면 헷갈립니다. 한 줄 흐름으로 이어보면 이해가 빠릅니다. AI는 글을 토큰으로 쪼개 읽고, 한 번에 읽을 수 있는 토큰 양이 컨텍스트 윈도우이며, 읽은 양 안에서도 기억이 빠진 구멍을 그럴듯한 말로 메운 현상이 환각입니다. 즉 세 단어는 ‘읽는 단위 → 읽는 한계 → 한계 속에서 생기는 오류’라는 한 사슬에 있습니다.
| 관계 | 설명 | 실전 팁 |
|---|---|---|
| 토큰 → 컨텍스트 윈도우 | 창의 크기도 토큰으로 잰다 | 글을 넣기 전에 “이게 창을 넘나?”를 토큰 감각으로 가늠 |
| 컨텍스트 윈도우 → 환각 | 창을 넘치면 앞부분이 빠지고, 빈 자리에 환각이 끼기 쉽다 | 긴 자료는 핵심만 요약해 올리면 환각 위험을 줄인다 |
| 토큰 → 환각 | 토큰 절약을 위해 질문을 너무 짧게 자르면 맥락이 부족해 환각이 늘 수 있다 | 질문은 ‘핵심+조건’을 충분히, 길이만 적절히 |
처음 한 번은 이 흐름을 의식하며 ChatGPT·Claude·Gemini 중 하나를 써 보세요. “지금 내가 넣는 글이 창을 넘나?” → “넘으면 어떻게 줄이지?” → “줄인 답이 환각은 아닌지 어떻게 확인하지?”를 차례로 묻는 습관이 생기면, 세 단어는 더 이상 낯선 용어가 아니라 실전 점검 도구가 됩니다.
자주 묻는 질문 3가지
Q. 토큰, 컨텍스트 윈도우, 환각 — 이걸 다 알아야 AI를 쓸 수 있나요? 아니요. 이 셋을 몰라도 AI는 씁니다. 하지만 답이 이상하게 잘리거나, 앞말을 잊거나, 그럴듯하게 틀린 답이 나올 때 원인을 짚으려면 이 세 단어가 필요합니다. “왜 이러지?”를 아는 것과 모르는 것은, 같은 도구를 써도 결과 품질이 달라집니다.
Q. 컨텍스트 윈도우가 큰 모델이 무조건 좋은 건가요? 보통은 유리하지만 무조건은 아닙니다. 창이 크면 한 번에 많은 자료를 넣기 편하지만, 들어간다고 끝까지 완벽히 기억하는 건 아니며 요금·한도와도 연결됩니다. 긴 문서 한두 개를 자주 넣는다면 큰 창이 도움이 되고, 짧은 질문·답이 대부분이라면 큰 창의 이점을 다 쓰지 못할 수 있습니다. 정확한 한도는 OpenAI 요금제·Anthropic 요금제를 확인하세요.
Q. 환각을 아예 안 일으키는 AI는 없나요? 현재(2026년 8월) 기준으로 환각을 ‘0’으로 만드는 스위치는 없습니다. 모델이 좋아질수록 빈도는 줄지만, 중요한 사실은 항상 출처로 검증하는 습관이 필요합니다. 출처를 강제로 붙이게 하거나 검색 결과를 근거로 답하게 하는 쓰기 방식이 환각을 줄이는 가장 실용적인 방향입니다. 관련 실전은 AI 챗봇 비교 (2026)에서 다룹니다.
요약
세 단어를 한 문장씩만 기억해도 AI 화면이 다르게 보입니다.
- 토큰 → AI가 글을 세는 기본 단위. 글자 수와 다르고, 한국어가 더 많이 먹힌다.
- 컨텍스트 윈도우 → AI가 한 번에 기억하는 토큰 양. 대화가 길어지면 앞을 잊는 이유.
- 환각 → 그럴듯하지만 틀린 답을 지어내는 현상. 완전 제거는 불가능하니 검증이 필수.
개념을 아는 순간, 같은 화면이더라도 “왜 이러지?”의 원인이 보이기 시작합니다. 이번 주에는 한 가지만 해 보세요 — AI에 질문할 때 “이 답의 출처를 공식 문서로 줘”를 붙이는 것. 그 작은 습관 하나가 환각을 가장 많이 줄여줍니다. 다음 글에서는 “프롬프트엔지니어링·RAG·파인튜닝, 이름만 어려운 세 단어”를 이어서 풀 예정입니다.