AI 용어 사전 13편 (2026) — GPU · VRAM · 컴퓨팅, 왜 내 노트북에서 무거운 모델이 안 돌까

“이 모델은 로컬에서 돌릴 수 있대요” “VRAM이 부족해서 안 된대요” “클라우드 GPU 시간이 얼마인지 보고 깜짝 놀랐어요” — AI 도구 리뷰, 코딩 에이전트 영상, 해외 AI 커뮤니티 어디서나 이 세 단어가 번갈아 나옵니다. 그런데 세 단어의 차이를 한 줄로 말하지 못하면, 왜 어떤 AI는 브라우저에서 바로 되고 어떤 AI는 내 컴퓨터에서 안 되는지를 이해할 수 없습니다. “다 같은 컴퓨터 아닌가?”로 넘기면, 왜 최신 모델을 내 노트북에서 쓸 수 없는지, 왜 클라우드 서비스가 월정액인지 사용량 과금인지 나뉘는지, 왜 “GPU가 없다”는 한마디가 도입 계획 전체를 바꾸는지를 알 수 없습니다.

요약 (TL;DR): GPU · VRAM · 컴퓨팅 핵심 요약 GPU는 수천 개의 계산을 동시에 처리하도록 설계된 칩으로, CPU가 소수 정예라면 GPU는 일꾼이 수천 명인 공장입니다. VRAM은 GPU에 딸린 전용 메모리인데 AI 모델이 실행되려면 모델 전체가 여기에 들어가야 해서 “모델이 앉을 방의 크기”에 해당하고, 방이 모자라면 모델이 아예 못 들어옵니다. 컴퓨팅은 AI를 훈련하거나 실행하는 데 드는 총 연산 자원으로 GPU 종류·VRAM 크기·시간·전력이 합쳐진 비용이며, 클라우드는 이 비용을 사용량으로 청구합니다.

이 글은 5분 안에 읽고 AI를 돌리는 하드웨어를 다루는 세 단어 — GPU · VRAM · 컴퓨팅을 정리합니다. 각 단어가 “무엇을 가리키고 왜 중요한가”를 LMArena · Cursor · ChatGPT 같은 도구 화면과 일상 사례로 짚고, 흔히 빠지는 오해까지 잡습니다. 도구 사용법이 아니라 개념을 먼저 잡는 글입니다.

왜 “하드웨어”가 용어 사전에 들어왔나? 우리 블로그의 11편 자율성 · 도구 사용 · 파이프라인은 AI가 ‘스스로 일을 이어가는 힘’을 다뤘고, 10편 추론 · 지연 · 처리량은 ‘한 번 답을 낼 때까지의 시간’을 다뤘습니다. 그런데 두 글 모두 한 가지를 전제합니다 — “AI를 돌릴 기계가 충분히 빠르다면”. 이 글은 그 전제를 까봅니다 — **어떤 칩이 AI를 빠르게 하나(GPU), 모델이 들어갈 방의 크기가 무엇인가(VRAM), 그것을 돌리는 총비용을 뭐라 부르나(컴퓨팅)**를 보는 ‘AI 용어 사전’ 시리즈의 열세 번째 글입니다.

GPU·VRAM·컴퓨팅은 각각 무엇을 가리킬까?

이 섹션에서 배우는 것: 세 단어를 한 줄씩 먼저 훑고, 각각이 내 컴퓨터와 클라우드 사이에서 어떤 자리를 잡는지 보기.

단어	한 줄 정의	직관적 의미	일상 예시
GPU(Graphics Processing Unit)	수천 개의 계산을 동시에 처리하도록 설계된 칩, AI 모델을 빠르게 돌리는 핵심 부품	”일꾼이 수천 명인 공장”, CPU는 소수 정예, GPU는 다수 병렬	”그래픽 카드가 좋아야 AI 그림이 빨리 나온다”
VRAM(Video RAM)	GPU에 딸린 전용 메모리, AI 모델이 실행되려면 모델 전체가 여기에 들어가야 한다	”모델이 앉을 방의 크기”, 방이 모자라면 모델이 못 들어온다	”모델이 크다며? 그럼 VRAM도 많이 필요하겠네”
컴퓨팅(Computing)	AI를 훈련하거나 실행하는 데 드는 총 연산 자원 — GPU 종류, VRAM 크기, 시간, 전력이 합쳐진 비용	”AI를 돌리는 총비용”, 클라우드가 이 비용을 사용량으로 청구한다	”클라우드 GPU를 빌려 쓰니 시간당 요금이 나온다”

⚠️ 하드웨어 사양과 가격은 시기에 따라 크게 바뀝니다. 특정 GPU의 VRAM 용량, 클라우드 시간당 단가, 모델별 권장 사양은 이 글에 적지 않습니다 — 공식 자료에서 확인하세요. 출처: NVIDIA CUDA Toolkit, 구글 Colab GPU 가이드, 허깅페이스 모델 문서

용어 1: GPU — “왜 그래픽 칩이 AI를 빠르게 하나”

이 섹션에서 배우는 것: GPU가 ‘수천 개의 계산을 동시에 처리하는 칩’이라는 것, 그래서 AI 모델이 하는 행렬 곱셈에 왜 CPU보다 압도적으로 빠른지.

GPU는 Graphics Processing Unit의 줄임말입니다. 원래는 화면에 그림을 그리는 칩이었지만, 수천 개의 픽셀을 동시에 계산하는 능력 — 병렬 처리(parallel processing) — 이 AI 모델을 돌리는 데 딱 맞아서, 지금은 AI 산업의 가장 중요한 부품이 됐습니다. 한 줄로 말하면, **CPU는 소수의 어려운 계산을 정밀하게 하는 ‘일반 사무관’이라면, GPU는 수천 개의 쉬운 계산을 동시에 하는 ‘인력파견 공장’**입니다. NVIDIA CUDA Toolkit은 GPU를 범용 계산에 쓰는 도구의 공식 문서이며, 텐서플로 GPU 가이드는 이 병렬 처리가 AI에서 어떻게 쓰이는지를 다룹니다.

Cursor 에디터 화면 cursor.com — 로컬에서 AI 코딩 도구를 돌릴 때 내 컴퓨터의 GPU가 쓰이거나 클라우드 GPU로 넘겨진다

GPU가 왜 결정적인지는 로컬 AI 도구에서 선명하게 보입니다. Cursor 같은 코딩 에이전트는 코드를 자동 완성하고 수정 제안을 주는데, 이 작업 뒤에서 AI 모델이 돌아갑니다. 그 모델이 내 컴퓨터에서 돌면 내 GPU가 쓰이고, 클라우드에서 돌면 서버 GPU가 쓰입니다. 파이토치 CUDA 문서는 이 과정을 코드 수준에서 설명합니다. 핵심은 — AI 모델의 핵심 계산이 “거대한 숫자 표의 곱셈”이라는 점입니다. 이 곱셈을 한 줄씩 순서대로 하는 CPU와, 수천 줄을 한꺼번에 하는 GPU의 차이는 속도에서 수십 배에서 수백 배까지 벌어집니다. 즉 GPU가 없으면 최신 AI 모델을 ‘쓸 만한 속도’로 돌릴 수 없습니다. 그래서 AI 도구를 도입하는 사람이 “GPU 사양”부터 묻는 것이 합리적이며, 이 점은 AI 코딩 도구 비교에서 다루는 ‘도구를 고를 때 따져야 할 조건’과 한 맥락입니다.

5분 안에 직접 확인하기

내 컴퓨터의 GPU 유무를 한 줄로 확인해 보세요. 윈도우는 작업 관리자의 ‘성능’ 탭에서, 맥은 ‘이 Mac에 관하여’에서 ‘시스템 리포트’를 열어 ‘그래픽/디스플레이’ 항목을 보면 됩니다. “내 컴퓨터에 GPU가 있나?”가 AI 도구 선택의 첫 질문입니다.
huggingface.co에서 ‘Spaces’ 메뉴를 열어 보세요. 대부분의 모델 데모가 ‘CPU only’와 ‘GPU’ 버전으로 나뉘어 있습니다. 응답 속도 차이를 체감하면 GPU의 역할이 바로 와닿습니다.
“GPU가 좋으면 AI가 무조건 빨라지나?”라는 질문에 스스로 답해 보세요. 정답은 “그렇지만, 모델이 VRAM에 들어가야 한다”입니다 — 다음 용어에서 이어집니다.

잘 안 되는 경우

보안 위험: 로컬 GPU 환경에서 외부 모델을 다운로드하는 경우: 인터넷에서 받은 모델 파일에 악성 코드가 숨어 있을 수 있으며, 회사 내부망에서 로컬 AI를 쓸 때는 출처가 검증된 모델만 써야 합니다. 허깅페이스 등의 공식 저장소에서 받더라도 다운로드 수와 라이선스를 확인하는 습관이 필요합니다.
기술적 한계: GPU가 없거나 구형인 경우: GPU가 없으면 CPU로 모델을 돌려야 하는데, 이는 같은 모델을 수십 배 느리게 실행합니다. 최신 대형 모델은 구형 GPU로는 아예 실행조차 안 되는 경우가 많아, 클라우드 서비스로 우회하는 것이 실질적인 대안입니다.

용어 2: VRAM — “AI 모델이 들어갈 방의 크기”

이 섹션에서 배우는 것: VRAM이 ‘GPU에 딸린 전용 메모리’라는 것, 그래서 모델의 크기가 VRAM 요구량을 정하고, VRAM이 모자라면 모델이 실행되지 않는다는 점.

VRAM은 Video RAM의 줄임말입니다. GPU 옆에 붙어 있는 전용 메모리로, AI 모델이 실행되려면 모델 전체가 이 메모리에 올라와야 합니다. 한 줄로 말하면, GPU가 ‘일꾼 수천 명’이라면 VRAM은 그 일꾼들이 동시에 펼쳐 놓을 수 있는 ‘작업대의 넓이’입니다. 작업대가 좁으면 아무리 일꾼이 많아도 동시에 할 수 있는 일이 줄어듭니다. NVIDIA CUDA 프로그래밍 가이드는 GPU 메모리 계층을 공식으로 다루며, 허깅페이스 모델 문서는 각 모델이 얼마의 메모리를 요구하는지를 모델 카드에 표시하는 규칙을 설명합니다.

LMArena 모델 비교 화면 lmarena.ai — 모델마다 크기가 달라 VRAM 요구량도 다르다, 비교하면 체감이 빠르다

VRAM이 왜 결정적인지는 모델 비교 도구에서 선명하게 보입니다. LMArena 같은 모델 비교 사이트에서 여러 모델의 답을 나란히 보면, 빠르고 정확한 모델일수록 더 큰 규모의 모델 — 더 많은 파라미터를 가진 모델 — 인 경우가 많습니다. 그런데 더 큰 모델은 더 많은 VRAM을 요구합니다. 즉 “더 똑똑한 모델을 쓰고 싶다”는 바람은 곧 “더 큰 VRAM이 필요하다”는 요구로 이어지고, 이것이 개인 컴퓨터에서 서버급 GPU로, 서버에서 클라우드로 넘어가는 가장 큰 이유가 됩니다. VRAM이 부족하면 모델이 아예 로드되지 않거나, ‘스와핑(swapping)’ 현상으로 GPU 메모리와 일반 메모리(RAM) 사이를 오가며 속도가 급락합니다. 이 점은 AI 코딩 시작 가이드에서 다루는 ‘로컬 개발 환경을 잴 때 VRAM이 첫 번째 기준’이라는 말과 한 맥락입니다.

⚠️ 같은 모델이라도 양자화(quantization) 설정과 추론 정밀도에 따라 VRAM 요구량이 크게 달라집니다. “이 모델은 VRAM 몇 GB가 필요하다”는 단일 정답은 없으며, 모델 카드의 권장 사양은 참고치일 뿐입니다. 출처: 허깅페이스 양자화 문서, NVIDIA GPU 메모리 가이드

5분 안에 직접 확인하기

내 컴퓨터의 VRAM 용량을 확인해 보세요. 윈도우는 작업 관리자에서 ‘성능’ 탭을 열고 GPU를 선택하면 ‘전용 GPU 메모리’가 보입니다. “VRAM이 몇 GB인가?”가 로컬 AI 도입 가능 여부를 가르는 첫 숫자입니다.
huggingface.co에서 아무 모델 카드 하나를 열어 ‘Model Card’ 섹션을 읽어 보세요. 권장 하드웨어나 메모리 요구량이 적혀 있는 경우가 많습니다. “이 모델은 VRAM이 얼마나 필요한가?”를 찾는 습관이 필요합니다.
“VRAM을 늘리면 AI가 무조건 빨라지나?”라는 질문에 스스로 답해 보세요. 정답은 “모델이 이미 VRAM에 다 들어가 있다면 속도 변화가 크지 않다”입니다 — VRAM은 ‘속도’가 아니라 ‘들어갈 수 있는 모델의 크기’를 정합니다.

잘 안 되는 경우

법적·규제: 클라우드 GPU 서비스에 데이터를 올리는 경우: 클라우드 서비스의 데이터 처리 약관이 GDPR이나 개인정보보호법과 충돌할 수 있습니다. 특히 민감한 개인정보나 의료정보가 포함된 데이터를 원격 GPU로 처리하려면, 서비스 약관에서 ‘데이터 처리 위치’와 ‘보관 기간’을 반드시 확인해야 합니다.
기술적 한계: VRAM이 부족해 스와핑이 일어나는 경우: 모델이 VRAM에 다 안 들어가면 GPU 메모리와 일반 RAM 사이를 오가며 실행되는데, 이때 속도가 수십 배로 떨어집니다. 양자화(quantization)라는 기법으로 모델을 압축해 VRAM 요구량을 줄일 수 있지만, 품질이 떨어질 수 있으므로 용도에 맞는 균형이 필요합니다.

용어 3: 컴퓨팅 — “AI를 돌리는 데 걸리는 총비용”

이 섹션에서 배우는 것: ‘컴퓨팅’이 GPU 종류, VRAM, 시간, 전력이 합쳐진 총비용이라는 것, 그래서 클라우드 서비스가 이 비용을 사용량으로 청구하는 까닭.

컴퓨팅(computing)은 AI 문맥에서 AI 모델을 훈련하거나 실행하는 데 드는 총 연산 자원을 가리킵니다. GPU의 종류, VRAM의 크기, 모델이 돌아가는 시간, 소비되는 전력이 모두 합쳐져 하나의 비용이 됩니다. 한 줄로 말하면, GPU와 VRAM이 ‘부품’이라면 컴퓨팅은 그 부품을 ‘얼마나 오래, 얼마나 많이 썼는가’의 청구 단위입니다. 구글 Colab GPU 가이드는 무료 및 유료 컴퓨팅 단위를 공식으로 설명하며, AMD ROCm 플랫폼은 NVIDIA 외의 GPU 생태계를 다룹니다 — 두 문서 모두 ‘컴퓨팅 자원’을 소비량으로 측정하는 방식을 보여줍니다.

ChatGPT 화면 chatgpt.com — 클라우드 AI 서비스는 사용자가 GPU, VRAM, 컴퓨팅 비용을 의식하지 않게 설계되어 있다

컴퓨팅이 왜 결정적인지는 클라우드 서비스에서 선명하게 보입니다. ChatGPT나 Gemini 같은 클라우드 AI를 쓸 때 사용자는 GPU 종류나 VRAM 용량을 의식하지 않습니다. 그 대신 서비스 회사가 데이터센터의 수만 개 GPU를 돌려 컴퓨팅 비용을 흡수하고, 그 비용을 월정액이나 사용량으로 청구합니다. 즉 클라우드의 편리함은 “컴퓨팅을 대신 감당해 주는 서비스”를 쓰는 것이며, 로컬에서 직접 GPU를 사는 선택은 “매번 컴퓨팅 비용을 내는 대신 한 번에 기계를 사는 것”입니다. 애플 실리콘 머신러닝 가이드는 Mac 칩이 GPU와 통합 메모리를 하나로 묶어 컴퓨팅 효율을 높이는 경로를 보여줍니다. 이 점은 AI 구독 결정 가이드에서 다루는 ‘월정액을 쓸 것인가, 자체 장비에 투자할 것인가’의 판단 근거이기도 합니다.

5분 안에 직접 확인하기

평소 쓰는 AI 서비스의 요금제 페이지를 열어 보세요. 대부분 ‘사용량(compute)’ 기준 과금과 ‘월정액’ 중 하나를 씁니다. 내 쓰임새가 어느 쪽에 유리한지를 한 줄로 적어 보면, 컴퓨팅 비용 감각이 자리를 잡습니다.
colab.research.google.com에서 무료 버전과 유료 버전의 차이를 읽어 보세요. ‘컴퓨팅 단위(compute unit)‘라는 말이 나오면, 그것이 이 글에서 말하는 컴퓨팅의 청구 단위입니다.
“컴퓨팅 비용이 비싸면 AI를 못 쓰나?”라는 질문에 스스로 답해 보세요. 정답은 “클라우드 서비스가 그 비용을 흡수하므로, 일반 사용자는 월정액으로 컴퓨팅에 접근할 수 있다”입니다 — 이것이 클라우드 AI가 대중화된 핵심 이유입니다.

잘 안 되는 경우

과금 위험: 클라우드 컴퓨팅 사용량이 예상을 초과하는 경우: 클라우드 GPU를 시간당 빌려 쓰다가 잊고 끄지 않으면, 청구액이 예상을 크게 넘을 수 있습니다. 자동 청구 한도(billing alert)를 설정하지 않으면 과금 사고로 이어지므로, 클라우드 컴퓨팅을 쓸 때는 반드시 사용 한도를 먼저 설정해야 합니다.
기술적 한계: 모델의 컴퓨팅 요구량을 사전에 정확히 예측하기 어려운 경우: 같은 모델이라도 배치 크기(batch size), 정밀도(precision), 컨텍스트 길이에 따라 컴퓨팅 요구량이 크게 달라집니다. 이 때문에 “이 모델은 얼마나 드나?”라는 질문에 단일 정답이 없으며, 실제로 돌려보기 전에는 정확한 비용을 알기 어렵습니다.

세 단어가 이어지는 한 흐름

이 섹션에서 배우는 것: 세 단어가 따로 놀지 않고 ‘부품에서 방 크기로, 방 크기에서 총비용으로’의 한 흐름으로 이어진다는 것.

이 세 단어는 하나의 의사결정 과정으로 이어집니다. 가장 먼저 GPU로 ‘어떤 칩으로 계산할까’를 정하고, 그 위에 VRAM으로 ‘그 칩에 모델이 들어갈까’를 확인하며, 마지막으로 컴퓨팅으로 ‘이것을 얼마나 오래 돌릴 수 있나’를 가늠합니다. “부품 선택, 방 크기 확인, 총비용 가늠”의 한 줄로 묶으면, 왜 AI를 도입하는 사람이 “어떤 GPU로, VRAM은 충분한가, 컴퓨팅 비용은 감당할 수 있는가”를 연달아 묻는지가 자리를 잡습니다.

의사결정 단계	이번 글의 단어	묻는 질문	결과가 나타나는 곳
부품 선택	GPU	”어떤 칩으로 AI를 돌릴까?”	칩의 병렬 처리 능력이 ‘속도’의 상한을 정함
방 크기 확인	VRAM	”모델이 GPU 메모리에 들어갈까?”	VRAM 크기가 ‘돌릴 수 있는 모델의 크기’를 정함
총비용 가늠	컴퓨팅	”이것을 얼마나 오래 돌릴 수 있나?”	시간과 전력과 과금이 ‘실사용 가능 여부’의 줄을 긋는다

이 표를 12편 데이터, 라벨링, 전처리와 겹쳐 보면 깊이가 더해집니다. 12편이 ‘무엇을 가르칠까’를 다뤘다면, 이번 편은 ‘그것을 돌리는 기계가 무엇인가’를 다룹니다 — 좋은 데이터로 만든 모델도 돌릴 기계가 없으면 쓸모가 없습니다. GPU, VRAM, 컴퓨팅을 합치면 “AI 도입”이라는 문장이 ‘어떤 하드웨어로, 모델을 얼마나 넣고, 얼마나 오래 돌릴 수 있는가’까지 묻게 만듭니다. 이 점은 AI로 엑셀 데이터 분석하기에서 다루는 ‘데이터 처리 속도가 도구 선택을 가른다’는 관찰과도 한 맥락입니다.

자주 묻는 질문 3가지

Q. GPU가 없어도 AI를 쓸 수 있나요?

네. ChatGPT, Gemini, Claude 같은 클라우드 AI 서비스는 서버의 GPU를 빌려 쓰는 방식이므로, 내 컴퓨터에 GPU가 없어도 브라우저로 쓸 수 있습니다. 로컬에서 모델을 직접 돌리고 싶을 때만 GPU가 필요합니다. 출처: 구글 Colab GPU 가이드, 허깅페이스 Spaces

Q. VRAM은 늘릴 수 있나요?

데스크톱 그래픽 카드의 VRAM은 카드에 고정되어 있어 나중에 늘릴 수 없습니다. 대신 양자화(quantization)로 모델을 압축해 VRAM 요구량을 줄이거나, 클라우드에서 더 큰 VRAM의 GPU를 빌리는 방법이 있습니다. Mac의 애플 실리콘 칩은 GPU가 통합 메모리를 공유하는 구조라, 전용 VRAM 모델과 한계가 다릅니다. 출처: 애플 실리콘 머신러닝 가이드

Q. 클라우드 GPU 시간당 비용은 얼마인가요?

이 글에서는 구체적 단가를 적지 않습니다. 시기, 공급자, GPU 종류에 따라 크게 달라지며, 최신 단가는 각 클라우드 서비스의 공식 가격 페이지에서 확인해야 합니다. 원칙만 알면 충분합니다 — “GPU를 빌린 시간만큼 비용이 나온다”는 것이 핵심이며, 구체적 수치는 구글 Colab 요금제와 각 클라우드 서비스 가격 페이지에서 확인하세요.

요약

세 단어를 한 문장씩만 기억해도 “왜 내 컴퓨터에서 무거운 모델이 안 돌까”를 다르게 읽힙니다.

GPU → 수천 개의 계산을 동시에 처리하는 칩. AI 모델이 하는 행렬 곱셈을 CPU보다 압도적으로 빠르게 한다.
VRAM → GPU에 딸린 전용 메모리. 모델이 실행되려면 전체가 이 메모리에 들어가야 하므로, VRAM 크기가 돌릴 수 있는 모델의 한계를 정한다.
컴퓨팅 → AI를 돌리는 데 드는 총 연산 자원. 클라우드 서비스가 이 비용을 사용량으로 청구하며, 일반 사용자는 월정액으로 컴퓨팅에 접근한다.

세 단어를 “어떤 칩으로 돌릴까(GPU) → 모델이 들어갈까(VRAM) → 얼마나 오래 돌릴 수 있나(컴퓨팅)“의 한 줄로 묶어두면, 다음번에 “이 모델은 로컬에서 된다”는 말을 들을 때 “어떤 GPU로, VRAM은 충분한가, 컴퓨팅 비용은 누가 감당하나?”를 묻게 됩니다. 이번 주에는 한 가지만 해 보세요 — 내 컴퓨터의 GPU와 VRAM을 한 번 확인하고, 평소 쓰는 AI 서비스가 로컬형인지 클라우드형인지를 한 줄로 적어 보는 것입니다. 그 작은 확인 하나가 “왜 안 되지?”라는 질문을 “어디가 한계인지 알겠다”로 바꿔줍니다. 다음 글에서는 “AI가 스스로를 멈추게 하는 세 단어 — 가드레일, 정렬, 안전성”을 이어서 풀 예정입니다.