“AI가 폰에서도 잘 돌아가네” “답이 빨라서 좋은데 가끔 단답이에요” “큰 모델인데 무료로도 쓸 수 있어요” — AI 도구를 쓰다 보면 한 가지 궁금증이 생깁니다. 크고 무거운 모델이 어떻게 내 폰이나 브라우저에서 가볍게, 빠르게, 그것도 무료로 돌아가는지. 모델이 크면 좋은 답이 나오지만 그만큼 느리고 비싸서, ‘충분히 쓸 만하면서도 작게’ 만드는 기술이 없었다면 AI는 데이터센터 안에만 남았을 겁니다.
요약 (TL;DR): 양자화 · 증류 · 경량화 핵심 요약 세 기술은 줄이는 대상이 다릅니다. 양자화는 모델의 수를 더 적은 자릿수로 표현해 정밀도를 낮추고 메모리와 계산량을 줄이는 기술로, 고해상도 사진을 알아볼 만한 화질로 압축해 용량을 줄이는 것과 같습니다. 증류는 큰 모델(교사)이 작은 모델(학생)을 가르치게 해 모델의 크기를 줄이는 기술이라, 두꺼운 교과서를 요약 노트로 만들어 핵심만 남기는 일에 해당합니다. 경량화는 양자화·증류·가지치기 등을 모아 전체 무게를 줄여 폰·브라우저에서도 돌아가게 만드는 일입니다.
이 글은 5분 안에 읽고 AI를 가볍게 만드는 세 기술 — 양자화 · 증류 · 경량화를 정리합니다. 각 기술이 “무엇을 어떻게 줄이는가”를 ChatGPT · Gemini Notebook(구 NotebookLM) · Photomath 같은 도구 화면과 일상 사례로 짚고, 흔히 빠지는 오해까지 잡습니다. 도구 사용법이 아니라 개념을 먼저 잡는 글입니다.
왜 “가볍게 만드는 기술”이 용어 사전에 들어왔나? 우리 블로그의 13편 GPU · VRAM · 컴퓨팅은 ‘AI를 돌리는 하드웨어의 한계’를 다뤘습니다. 그런데 하드웨어를 키우는 데엔 한계와 비용이 있어서, 모델 자체를 작게 만드는 소프트웨어 기술이 짝을 이룹니다. 이 글이 그 반쪽을 다룹니다 — **수의 정밀도를 줄여 작게 만든다(양자화), 큰 모델이 작은 모델을 가르친다(증류), 여러 기술을 모아 어디서든 돌아가게 한다(경량화)**를 차례로 보는 ‘AI 용어 사전’ 시리즈의 열일곱 번째 글입니다.
양자화·증류·경량화는 각각 무엇을 줄일까?
이 섹션에서 배우는 것: 세 기술을 한 줄씩 먼저 훑고, 각각이 “AI를 가볍게 만든다”는 목표에서 무엇을 줄이는지 보기.
| 기술 | 한 줄 정의 | 무엇을 줄이는가 | 일상 비유 |
|---|---|---|---|
| 양자화(Quantization) | 모델의 수를 더 적은 자릿수로 표현해 크기를 줄이는 기술 | ’정밀도’ — 수의 정밀도를 낮춰 메모리와 계산량을 줄인다 | ”고해상도 사진을 알아볼 만한 화질로 압축해 용량을 줄인다” |
| 증류(Distillation) | 큰 모델(교사)이 작은 모델(학생)을 가르치게 해 작은 모델을 만드는 기술 | ’모델의 크기’ — 큰 모델의 지식을 작은 모델에 옮긴다 | ”두꺼운 교과서를 요약 노트로 만들어 외우면 원서를 다 안 봐도 핵심을 안다” |
| 경량화(Lightweighting) | 양자화·증류·가지치기 등 여러 기술을 모아 모델을 작고 빠르게 만드는 일 | ’전체 무게’ — 모델이 작아 폰·브라우저에서도 돌아가게 | ”무거운 기기를 부품을 바꿔 가볍게 만들면 배터리로도 오래 돈다” |
⚠️ 세 기술은 정확도를 ‘전혀’ 잃지 않는 마법이 아닙니다. 정밀도와 크기를 줄이면 품질이 미세하게 달라질 수 있고, “얼마나 줄여도 쓸 만한가”는 모델과 용도마다 다릅니다. 2026년 8월 기준으로도 각 기술이 품질에 미치는 영향은 연구가 계속되는 영역입니다. 출처: Hugging Face 퀀타이제이션 문서, PyTorch
용어 1: 양자화 — “정밀도를 희생해 크기와 속도를 얻는 교환”
이 섹션에서 배우는 것: 양자화가 ‘수를 더 적은 자릿수로 표현해 모델을 작고 빠르게 만드는 기술’이라는 것, 그래서 정밀도와 속도 사이의 교환(trade-off)이라는 점.
양자화(quantization)는 AI 문맥에서 모델 안의 수를 더 적은 자릿수로 표현해 모델의 크기와 계산량을 줄이는 기술을 가리킵니다. 한 줄로 말하면, **“아주 정밀하게 표현하던 수를 충분히 정밀한(하지만 더 가벼운) 표현으로 바꿔서 모델을 가볍게 만드는 일”**입니다. 모델의 매개변수(가중치)는 보통 아주 정밀한 실수(예: 32비트 부동소수점)로 저장되는데, 이를 더 적은 비트(예: 8비트)로 표현하면 같은 모델이 훨씬 작은 메모리에 들어가고 계산도 빨라집니다. 핵심 아이디어는 ‘정밀도를 조금 희생해도 결과가 거의 바뀌지 않는 범위’를 찾는 것입니다. Hugging Face 퀀타이제이션 문서는 이 기술을 모델 서빙에 어떻게 쓰는지 설명하며, NVIDIA TensorRT는 양자화로 추론 속도를 높이는 도구의 대표적 사례입니다.
chatgpt.com — 빠른 단답(작고 가속된 모델)과 긴 사고 모델의 차이에서 정밀도와 속도의 교환이 보인다
양자화가 왜 결정적인지는 “왜 이 답이 이렇게 빨리 오지?”라는 질문에서 보입니다. 채팅 도구가 빠른 단답을 내놓을 때, 그 뒤에는 정밀도를 줄여 가속한 모델이 있을 수 있습니다. 양자화는 ‘가장 정밀한 답’이 아니라 ‘충분히 좋은 답을 가장 빠르게’를 택하는 교환입니다. 이 점은 13편 GPU · VRAM · 컴퓨팅에서 다룬 ‘메모리(VRAM) 한계’와 맞닿아 있습니다 — 모델을 양자화하면 더 작은 VRAM에 들어가서 비싼 하드웨어 없이도 돌아갑니다. 또한 10편 추론 · 지연 · 처리량에서 다룬 ‘지연(latency)‘을 줄이는 핵심 수단이기도 합니다 — 계산량이 줄면 응답이 빨라집니다.
5분 안에 직접 확인하기
- 채팅 도구에서 같은 질문을 두 방식으로 물어 보세요. 하나는 “한 줄로 답해 줘”, 다른 하나는 “단계별로 길게 풀어 줘”. 빠른 단답이 ‘충분히 좋지만 덜 정밀한’ 경로라면, 긴 사고가 ‘더 정밀하지만 느린’ 경로입니다 — 양자화가 만드는 교환을 체감할 수 있습니다.
- huggingface.co/docs/transformers/main_classes/quantization의 도입부를 읽어 보세요. “더 낮은 정밀도의 데이터 타입으로 매개변수를 표현한다”는 한두 문장이 양자화의 전부입니다 — 수학이 아니라 아이디어입니다.
- “정밀도를 절반으로 줄이면 답이 틀려질까?”라는 질문에 스스로 답해 보세요. 정답은 “거의 그대로인 경우도 있고 미세하게 달라지는 경우도 있다”입니다 — 모델과 용도에 따라 ‘충분히 쓸 만한’ 선이 다릅니다.
잘 안 되는 경우
- 법적·규제: 양자화로 인한 정확도 변화가 고위험 분야에서 문제가 되는 경우: 의료 진단·자율주행 같은 분야에서는 아주 작은 출력 변화가 안전에 영향을 줄 수 있어, 양자화를 함부로 적용하기 어렵습니다. EU AI Act는 고위험 AI 시스템의 변경(모델 수정 포함)에 대한 평가를 요구합니다.
- 기술적 한계: 극단적인 양자화에서 품질이 급격히 떨어지는 경우: 비트를 너무 줄이면 모델의 출력이 눈에 띄게 나빠집니다. 이를 ‘양자화 손실(quantization loss)‘이라 부르며, “얼마까지 줄여도 괜찮은가”의 선을 찾는 것이 기술적 난제입니다.
용어 2: 증류 — “큰 모델이 작은 모델을 가르치는 기술”
이 섹션에서 배우는 것: 증류가 ‘큰 모델(교사)의 출력을 보며 작은 모델(학생)을 가르쳐, 작은 모델이 큰 모델에 가까운 성능을 내게 만드는 기술’이라는 것.
증류(distillation, 지식 증류·knowledge distillation)는 AI 문맥에서 큰 모델(교사·teacher)이 내는 출력을 보며 작은 모델(학생·student)을 가르쳐, 작은 모델이 큰 모델에 가까운 성능을 내도록 만드는 기술을 가리킵니다. 한 줄로 말하면, **“능력이 큰 모델이 ‘정답’뿐 아니라 ‘정답으로 가는 길’까지 보여주며 작은 모델을 길러내는 일”**입니다. 교사 모델은 정답 하나만 알려주는 게 아니라 ‘어떤 보기들이 얼마나 그럴듯한가’를 넓게 알려주고(이를 ‘소프트 타깃’이라 합니다), 학생은 그 넓은 정보를 흡수합니다. 이 아이디어를 정리한 대표 연구는 Hinton 외의 “Distilling the Knowledge in a Neural Network”(2015)로, arXiv 1503.02531에서 볼 수 있습니다. 증류는 7편 지도 · 비지도 · 강화학습에서 다룬 ‘지도학습’의 한 변형으로 볼 수 있습니다 — 라벨이 사람이 아니라 ‘큰 모델’이 붙인다는 점이 다릅니다.
notebook.google.com(구 notebooklm.google.com) — 큰 자료를 작은 ‘질문-답 능력’으로 압축하는 글자 그대로의 ‘증류’ 사례
증류가 왜 결정적인지는 “왜 작은 모델도 꽤 똑똑하지?”라는 질문에서 보입니다. 큰 모델을 처음부터 다시 가르치면 시간과 비용이 엄청나게 들지만, 작은 모델을 큰 모델의 ‘결과물’로 가르치면 훨씬 적은 자원으로 비슷한 성능을 낼 수 있습니다. **증류는 ‘지식을 큰 모델에서 작은 모델로 옮기는 일’**입니다. 일상에서 가장 직관적인 비유가 노트 요약입니다 — 두꺼운 교과서를 통째로 외우기 어려워 핵심 요약 노트로 만들면, 원서를 다시 안 봐도 요약 노트만으로 핵심을 답할 수 있습니다. 증류는 이 ‘요약 노트 만들기’를 모델 사이에서 합니다. 사용자가 보는 곳은 “큰 자료를 올리면 그 안의 내용을 질문으로 풀어주는 도구” — 큰 원천을 작고 쓸 만한 능력으로 압축합니다. 이 점은 1편 토큰 · 컨텍스트 · 환각에서 다룬 ‘환각’의 대응과도 이어집니다 — 출처에 묶인 증류는 “알아서 지어내는” 환각을 줄이는 한 방향이 됩니다.
5분 안에 직접 확인하기
- 한 편의 긴 자료(강의 노트·기사)를 읽고 핵심을 세 문장으로 요약해 보세요. 이 작업이 ‘증류’의 글자 그대로입니다 — 많은 정보에서 가장 중요한 ‘능력’을 뽑아냅니다. 자료 원본(교사)과 요약(학생)을 겹쳐 보면, 작은 쪽이 어떤 것을 버리고 어떤 것을 남겼는지가 보입니다.
- arxiv.org/abs/1503.02531의 초록(abstract)만 읽어 보세요. “큰 모델의 지식을 작은 모델로 옮긴다”는 한 문장이 증류의 전부이며, 복잡한 수식 없이도 핵심을 잡을 수 있습니다.
- “증류한 작은 모델이 큰 모델보다 더 똑똑해질 수 있나?”라는 질문에 스스로 답해 보세요. 정답은 “보통은 아니지만 특정 좁은 작업에서는 비슷하거나 효율적일 수 있다”입니다 — 큰 모델의 넓은 능력 전부는 못 옮겨도, 한 가지 일에서는 작은 모델이 충분합니다.
잘 안 되는 경우
- 법적·규제: 교사 모델의 지식을 그대로 옮기면 원 모델의 제약을 우회하게 되는 경우: 어떤 모델은 사용 허가나 라이선스 조건을 붙이는데, 이를 증류로 우회해 작은 모델을 만들면 라이선스·저작권 문제가 생길 수 있습니다. 모델마다 지식 증류를 허용하는지의 기준이 다릅니다.
- 기술적 한계: 큰 모델의 복잡한 추론 능력까지는 옮기기 어려운 경우: 단순한 분류·요약은 잘 옮겨지지만, 여러 단계를 거치는 복잡한 추론은 작은 모델에 담기 어렵습니다. “무엇이 증류 가능하고 무엇이 아닌가”를 가르는 선이 기술적 한계입니다.
용어 3: 경량화 — “여러 기술을 모아 어디서든 돌게 만드는 일”
이 섹션에서 배우는 것: 경량화가 ‘양자화·증류·가지치기·구조 단순화 등 여러 기술을 모아 모델을 작고 빠르게 만드는 포괄적 작업’이라는 것, 그래서 양자화와 증류를 ‘부품’으로 두는 ‘전체’라는 점.
경량화(lightweighting, 모델 경량화·model compression)는 AI 문맥에서 양자화·증류·가지치기(pruning)·구조 단순화 등 여러 기술을 모아 모델을 작고 빠르게 만드는 포괄적 작업을 가리킵니다. 한 줄로 말하면, **“한 가지 기술이 아니라, ‘작게 만드는 온갖 방법’을 용도에 맞게 섞어 쓰는 일”**입니다. 가지치기(pruning)는 덜 중요한 연결을 잘라내 모델을 가볍게 하고, 구조 단순화는 모델의 설계 자체를 가볍게 바꿉니다. 양자화와 증류도 이 모음의 일부입니다. TensorFlow Lite(LiteRT)와 ONNX Runtime은 모바일·브라우저 같은 제한된 환경에서 모델을 가볍게 돌리는 도구이며, Apple 기기 내 머신러닝과 Qualcomm AI은 폰 안에서 도는 AI를 위한 환경을 제공합니다.
photomath.com — 폰에서 즉시 풀이를 내놓는 도구는 ‘경량화’ 덕분에 좁은 기기에서도 돈다
경량화가 왜 결정적인지는 “이게 왜 폰에서 될까?”라는 질문에서 보입니다. 수학 풀이 도구가 사진 한 장으로 풀이를 내놓으려면, 모델이 작고 빨라야 폰의 한정된 메모리와 배터리 안에서 돕니다. 경량화는 ‘모델을 데이터센터에서 빼내어 폰·브라우저·가전으로 옮기는’ 기술입니다. 이 점은 13편 GPU · VRAM · 컴퓨팅과 정반대 방향에서 만납니다 — 하드웨어를 키우는 쪽(13편)과 모델을 줄이는 쪽(이 글)이 짝을 이뤄, “큰 일은 데이터센터에서, 작은 일은 폰에서”라는 나눔이 생깁니다. 경량화가 없으면 모든 AI가 클라우드로만 돌아가서, 인터넷이 끊기면 쓸 수 없고 응답이 느리며 비용도 누적됩니다.
⚠️ “경량화하면 어떤 모델이든 폰에서 돈다”는 말은 성급합니다. 모델 크기·지연 허용치·기기 성능에 따라 ‘폰에서 돌 만한’ 기준이 다르고, 2026년 8월 기준으로도 가장 큰 모델은 여전히 데이터센터 전용입니다. 기기 위에서 도는 모델의 범위는 빠르게 넓어지고 있으나 변동이 큽니다. 출처: TensorFlow Lite, Apple Machine Learning
5분 안에 직접 확인하기
- 인터넷을 잠시 끄고(비행기 모드) 폰에서 돌아가는 AI 기능을 하나 찾아 보세요. 사진 앱의 검색·키보드의 다음 단어 추천·음성 명령 같은 기능이 오프라인에서도 움직인다면, 그 뒤에는 기기에서 도는 경량화 모델이 있을 가능성이 큽니다. “구름 없이도 움직이는 AI”가 경량화의 결과입니다.
- tensorflow.org/lite의 소개를 읽어 보세요. “모바일·엣지 기기에서 모델을 배포한다”는 문장이 경량화의 목적을 한 줄로 보여줍니다 — 큰 모델을 작은 기기에 옮기는 일입니다.
- “왜 모든 모델을 경량화해 폰에 넣지 않을까?”라는 질문에 스스로 답해 보세요. 정답은 “클수록 더 좋은 답을 내는 경향이 있어서”입니다 — 경량화는 ‘충분히 좋은 답’과 ‘작은 크기’ 사이의 균형이지, 무조건 작게 만드는 것이 아닙니다.
잘 안 되는 경우
- 법적·보안: 기기에서 모델이 돌면 데이터 보호엔 유리하지만 모델 자체가 도난당할 위험이 있는 경우: 기기 위 모델은 사용자 데이터가 서버로 가지 않아 보호에는 유리하지만, 모델 파일 자체가 뽑혀서 복제될 우려가 있습니다. ‘데이터는 안전하지만 모델은 노출’이라는 딜레마입니다.
- 기술적 한계: 기기마다 성능이 달라 같은 모델이 기기마다 다르게 움직이는 경우: 폰의 칩셋·메모리가 천차만별이라, 한 모델을 모든 기기에서 같은 속도로 돌게 하기 어렵습니다. 기기 파편화(fragmentation)가 경량화의 실무적 걸림돌입니다.
세 기술이 이어지는 한 흐름
이 섹션에서 배우는 것: 세 기술이 따로 놀지 않고 ‘정밀도를 줄인다 → 큰 모델이 작은 모델을 가르친다 → 여러 기술을 모아 어디서든 돌게 한다’의 점점 넓어지는 단계로 이어진다는 것.
이 세 기술은 “AI를 가볍게 만든다”는 하나의 목표를 좁은 조작에서 넓은 배포로 이어지는 세 단계로 풉니다. 가장 좁은 층이 양자화로 ‘수의 정밀도를 줄여 한 모델을 작게 만든다’, 그 바깥이 증류로 ‘큰 모델의 지식을 작은 모델로 옮겨 새 모델을 만든다’, 가장 바깥이 경량화로 ‘여러 기술을 모아 모델을 어디서든 돌게 한다’를 다룹니다. “정밀도, 전달, 배포”의 한 줄로 묶으면, 왜 AI를 만드는 사람이 “양자화로 크기를 줄이고, 증류로 작은 모델을 길러내고, 경량화로 폰에 올린다”를 연달아 말하는지가 자리를 잡습니다.
| 단계 | 이번 글의 기술 | 묻는 질문 | 줄이는 대상 |
|---|---|---|---|
| 조작 | 양자화 | ”한 모델의 수 표현을 어떻게 가볍게 할까?” | 정밀도(비트 수) |
| 전달 | 증류 | ”큰 모델의 지식을 어떻게 작은 모델에 옮길까?” | 모델의 크기(매개변수) |
| 배포 | 경량화 | ”여러 기술을 모아 어디서든 어떻게 돌릴까?” | 전체 무게(실행 환경) |
이 표를 10편 추론 · 지연 · 처리량과 겹쳐 보면 각도가 이어집니다. 10편이 ‘모델이 답을 낼 때 걸리는 시간’을 다뤘다면, 이번 편은 ‘그 시간을 왜 줄일 수 있는가’의 기술적 원인을 다룹니다 — 양자화·경량화가 계산량을 줄여 지연을 낮춥니다. 또한 16편 편향 · 공정성 · 대표성과도 한 축으로 만납니다 — 큰 모델을 작게 만들 때 “어떤 능력을 버리고 어떤 능력을 남길까”의 선택 자체가, 모델이 ‘누구를 더 잘 다루는가’에 영향을 줄 수 있습니다.
자주 묻는 질문 3가지
Q. 양자화와 증류는 같은 건가요?
다릅니다. 양자화는 이미 있는 모델의 수 표현을 바꿔 그 모델 자체를 작게 만드는 일이고, 증류는 새로운 작은 모델을 큰 모델에게 가르쳐 만들어내는 일입니다. 양자화가 ‘사진 화질을 낮춰 용량을 줄이는 것’이라면, 증류는 ‘큰 사진을 보며 그림을 배우는 견습생을 키우는 것’입니다. 둘은 같은 모델에 함께 쓰이기도 합니다. 출처: Hugging Face 퀀타이제이션 문서, arXiv 1503.02531
Q. 경량화하면 정확도가 무조건 떨어지나요?
보통은 미세하게 달라지지만, 반드시 ‘나빠진다’는 아닙니다. 경우에 따라 작은 모델이 노이즈에 덜 반응해 특정 작업에서 더 안정적이기도 합니다. 다만 ‘전체적으로 더 정밀한 답’을 원하면 큰 모델이 유리한 것이 사실이며, “얼마나 줄여도 쓸 만한가”는 모델·용도·기기에 따라 다릅니다. 출처: PyTorch, TensorFlow Lite
Q. 폰에서 도는 AI는 다 경량화된 건가요?
대체로 그렇습니다. 폰의 메모리와 배터리 한계 안에서 모델을 돌리려면, 모델을 작고 빠르게 만드는 과정(경량화)을 거치는 것이 일반적입니다. 단, 가장 큰 모델은 여전히 클라우드에서만 돌아가며, 폰에서 도는 것은 그보다 작은 모델입니다. 2026년 8월 기준으로 기기 위 AI의 범위는 빠르게 넓어지고 있습니다. 출처: Apple Machine Learning, Qualcomm AI
요약
세 기술을 한 문장씩만 기억해도 “AI가 왜 가볍게 돌아가는지”를 묻는 질문의 방향이 잡힙니다.
- 양자화 → 모델의 수를 더 적은 자릿수로 표현해 크기와 계산량을 줄이는 기술. 정밀도와 속도의 교환이다.
- 증류 → 큰 모델(교사)이 작은 모델(학생)을 가르쳐 작고 쓸 만한 모델을 만드는 기술. 지식을 큰 모델에서 작은 모델로 옮긴다.
- 경량화 → 양자화·증류·가지치기 등 여러 기술을 모아 모델을 어디서든 돌게 만드는 포괄적 작업. 모델을 데이터센터에서 폰·브라우저로 옮긴다.
세 기술을 “수를 가볍게 표현한다(양자화) → 큰 모델이 작은 모델을 가르친다(증류) → 여러 기술을 모아 어디서든 돌게 한다(경량화)“의 좁은 조작에서 넓은 배포로 이어지는 한 흐름으로 묶어두면, 다음번에 폰에서 AI가 빠르게 답할 때 “이것이 정밀도를 줄인 결과인가, 큰 모델에게 배운 작은 모델인가, 아니면 폰에 올리기 위해 가다듬은 경량화의 결과인가”를 나누어 생각하게 됩니다. 이번 주에는 한 가지만 해 보세요 — 비행기 모드로 폰의 인터넷을 끄고 어떤 AI 기능이 여전히 움직이는지 찾아보는 것입니다. 움직인다면, 그 기능 뒤에는 기기 위에서 도는 경량화 모델이 있을 가능성이 큽니다. 다음 글에서는 “AI가 한 단계씩 생각하게 만드는 기술 — 사슬 사고 · 나무 사고 · ReAct”를 이어서 풀 예정입니다.