“ChatGPT한테 같은 질문을 했는데 어제는 맞히다가 오늘은 틀리네요” “번역기가 공무원 문서는 잘 번역하면서 병원 진단서는 엉망이에요” “우리 회사 데이터를 넣었더니 AI가 전혀 엉뚱한 답을 내놓습니다” — AI를 쓰다 보면 이런 순간이 반드시 찾아옵니다. 그럴 때 흔히 “모델이 부족해서”, “프롬프트를 잘못 써서”라며 AI의 두뇌부터 의심합니다. 그런데 **AI 성능을 결정하는 가장 큰 요인은 화려한 모델이 아니라 ‘무엇을 가르쳤느냐’**입니다. AI 업계에는 오래된 격언이 있습니다 — “쓰레기를 넣으면 쓰레기가 나온다(Garbage In, Garbage Out)”. 이 말을 모르면 왜 비싼 최신 모델도 가끔 엉뚱한 답을 내놓는지, 왜 “더 많은 데이터”가 늘 정답이 아닌지를 영영 헤맵니다.
요약 (TL;DR): 데이터 · 라벨링 · 전처리 핵심 요약 세 단어는 “AI는 가르친 것밖에 모른다”를 세 단계로 나눈 것입니다. 데이터는 AI를 가르치는 데 쓰이는 예시 모음이라 레시피의 식재료에 해당하고, 요리 교재에 오타가 많으면 헷갈리듯 가르침에 잘못이 있으면 AI도 헷갈립니다. 라벨링은 데이터에 정답을 표시로 붙이는 작업이라 사진에 “고양이”라고 이름표를 붙여 주는 모범 답안지 만들기이고, 전처리는 날것의 데이터를 모델이 소화할 수 있게 손질하는 단계라 오타를 고르고 형식을 통일하는 재료 다듬기입니다.
이 글은 5분 안에 읽고 AI가 배우는 데 쓰이는 세 단어 — 데이터 · 라벨링 · 전처리를 정리합니다. 각 단어가 “무엇을 가리키고 왜 중요한가”를 Google Sheets · Notion · ChatPDF 같은 도구 화면과 일상 사례로 짚고, 흔히 빠지는 오해까지 잡습니다. 도구 사용법이 아니라 개념을 먼저 잡는 글입니다.
왜 “AI가 틀리는 진짜 이유”가 데이터인가? 우리 블로그의 9편 과적합 · 일반화 · 교차검증은 모델이 ‘외우는’ 현상을, 8편 정확도 · 정밀도 · 재현율은 점수를 ‘어떻게 재는가’를 다뤘습니다. 그런데 두 글 모두 한 가지를 전제합니다 — “가르친 데이터가 믿을 만하다면”. 이 글은 그 전제를 까봅니다 — **모델이 배우는 재료가 무엇인지(데이터), 거기에 정답 표시를 어떻게 붙이는지(라벨링), 그 재료를 모델이 소화할 수 있게 어떻게 손질하는지(전처리)**를 보는 ‘AI 용어 사전’ 시리즈의 열두 번째 글입니다.
데이터·라벨링·전처리는 각각 무슨 일을 할까?
이 섹션에서 배우는 것: 세 단어를 한 줄씩 먼저 훑고, 각각이 AI 품질에서 어떤 자리를 잡는지 보기.
| 단어 | 한 줄 정의 | 직관적 의미 | 일상 예시 |
|---|---|---|---|
| 데이터(Data) | AI를 가르치는 데 쓰이는 예시 모음 | 레시피의 식재료, 좋은 재료가 좋은 요리를 만든다 | ”요리 교재에 오타가 많으면 헷갈리듯, 가르침에 잘못이 있으면 AI도 헷갈린다” |
| 라벨링(Labeling) | 데이터에 ‘정답’을 표시로 붙이는 작업 | 모범 답안지, AI가 무엇을 맞혀야 할지 알려주는 표시 | ”사진에 ‘고양이’라고 이름표를 붙여 주는 일” |
| 전처리(Preprocessing) | 날것의 데이터를 모델이 소화할 수 있게 손질하는 단계 | 재료 다듬기, 씻고 썰고 양 맞추기 | ”문서에서 오타를 고르고 형식을 통일해 깔끔하게 정리” |
⚠️ 데이터 품질은 ‘양’이 아니라 ‘대표성’으로 결정됩니다. 아무리 많아도 한쪽으로 치우치거나 틀린 데이터는 모델을 더 나쁘게 만듭니다. 구체적 기법과 정의는 공식 자료에서 확인하세요. 출처: 구글 ML 입문 강좌, 위키백과 데이터 전처리, 위키백과 훈련·검증·시험 데이터
용어 1: 데이터(Data) — “AI는 가르친 것밖에 모른다”
이 섹션에서 배우는 것: 데이터가 ‘AI를 가르치는 데 쓰이는 예시 모음’이라는 것, 그래서 어떤 데이터를 주느냐가 모델의 한계를 정한다는 점.
데이터는 AI를 가르치는 재료 그 자체입니다. 한 줄로 말하면, 모델이 ‘세상이 어떻게 돌아가는지’를 배우는 데 쓰이는 예시들의 모음입니다. ChatGPT가 문장을 잘 쓰는 까닭은 수많은 글을 가르침 삼아 읽었기 때문이고, 번역기가 매끄러운 까닭은 무수한 문장 쌍을 예시로 삼았기 때문입니다. 구글 ML 입문 강좌는 머신러닝의 첫 단어를 ‘데이터’에서 시작하며, 위키백과 훈련·검증·시험 데이터는 이 예시 모음을 용도별로 나누는 규칙을 공식으로 다룹니다.
sheets.google.com 홈페이지
데이터가 왜 결정적인지는 표를 다루는 도구에서 선명하게 보입니다. Google Sheets에 한쪽으로 치우친, 혹은 빈칸 투성이의 표가 있다고 해 보세요. 이 표로 “평균과 추세를 알려 달라”고 하면 나오는 답은 믿을 수 없습니다. AI도 마찬가지입니다 — 가르친 표가 치우치거나 틀리면, 그 표에서 배운 모델의 답도 치우치고 틀립니다. 이것이 “쓰레기를 넣으면 쓰레기가 나온다”는 격언이 가리키는 본질이며, 위키백과 Garbage In, Garbage Out에서 이를 컴퓨팅의 근본 격언으로 다룹니다. 즉 모델의 한계는 대개 모델이 아니라 ‘어떤 데이터를 가르쳤느냐’에 달려 있습니다. 그래서 AI를 도입하는 회사가 가장 먼저 점검하는 것도 “우리가 가진 데이터가 충분히 다양하고 믿을 만한가”이며, 이 점은 AI로 엑셀 데이터 정리하기에서 다루는 ‘데이터를 깨끗하게 들여다보는 습관’과 한 맥락입니다.
5분 안에 직접 확인하기
- sheets.google.com 에서 최근 본 표 하나를 떠올리며, “이 표의 빈칸이나 한쪽으로 치우친 값이 있나?”를 한 줄로 적어 보세요. ‘치우친 데이터가 치우친 답을 낳는다’는 직관이 데이터 품질을 논할 때 가장 먼저 가져야 할 눈입니다.
- 평소 쓰는 번역 도구에서 아주 전문적인 문장(의료·법률 등) 하나를 번역해 보세요. 매끄러운 일상 문장과 결과가 다르다면, 그 차이가 ‘어떤 데이터를 많이 가르쳤느냐’에서 비롯될 수 있다는 점을 한 줄로 적어 봅니다.
- “더 많은 데이터가 늘 더 좋은 모델을 만들까?”라는 질문에 스스로 답해 보세요. 양보다 ‘대표성’이라는 답이 나온다면, 데이터의 본질을 잡은 것입니다.
잘 안 되는 경우
- 데이터가 한쪽으로 치우친 경우: 가르친 예시가 특정 지역·연령·문장투만 담고 있으면, 모델은 그 치우침을 ‘세상의 전부’로 배웁니다. 양을 늘려도 치우침이 같으면 편향은 오히려 굳어집니다.
- 데이터에 오류가 섞인 경우: 잘못된 값·오타·중복이 섞인 데이터로 가르치면 모델은 그 오류까지 ‘규칙’으로 흡수합니다. 나중에 오류를 빼는 것보다 처음부터 깨끗한 데이터를 쓰는 것이 훨씬 저렴합니다.
가르칠 재료가 무엇인지 알았다면, 다음은 그 재료에 ‘정답’을 붙이는 일입니다.
용어 2: 라벨링(Labeling) — “정답표가 없으면 배울 수 없다”
이 섹션에서 배우는 것: 라벨링이 ‘데이터에 정답을 표시로 붙이는 작업’이라는 것, 그래서 지도학습에서 정답표의 질이 모델의 운을 가른다는 점.
라벨링은 데이터 한 조각 한 조각에 ‘이것의 정답은 무엇인지’를 표시로 붙이는 일입니다. 한 줄로 말하면, 데이터에 정답표를 붙여 AI가 ‘무엇을 맞혀야 할지’ 알게 하는 작업입니다. 고양이 사진에 ‘고양이’, 스팸 메일에 ‘스팸’, 고객 문장에 ‘긍정’이라고 이름표를 붙이는 식입니다. 이 정답표가 있어야 7편에서 다룬 지도학습이 작동합니다 — 선생이 정답을 알려 주며 가르치는 방식이 지도학습이고, 그 정답표를 만드는 일이 라벨링입니다. 구글 ML 입문 강좌는 이 정답표를 ‘레이블(label)‘이라 부르며 지도학습의 필수 요소로 다룹니다.
notion.so 홈페이지
라벨링이 왜 까다로운지는 정리 도구를 통해 직관적으로 잡을 수 있습니다. Notion으로 문서 모음에 일일이 ‘분류 태그’를 붙인다고 해 보세요. 수십 장이면 손이 가지만 몇천·몇만 장이 되면 사람이 직접 붙이기 어렵고, 붙이는 사람마다 기준이 달라 ‘스팸’과 ‘아님’의 줄이 흔들립니다. 이것이 라벨링의 본질적 어려움입니다 — 정답표는 누군가가 직접 만들어야 하고, 그 기준이 흔들리면 모델도 흔들립니다. AI 업계에서 ‘데이터 라벨링’이 큰 비용과 시간을 차지하는 까닭이며, 허깅페이스 데이터셋 문서에서 사람이 만든 정답표를 다루는 절차를 공식으로 다룹니다. 정답표가 틀리면 모델은 틀린 정답을 ‘옳은 것’으로 배우며, 이는 8편 정확도 · 정밀도 · 재현율에서 본 ‘점수’의 바닥 자체를 흔드는 일입니다. 즉 라벨링의 질이 모델이 도달할 수 있는 실력의 천장을 정합니다.
5분 안에 직접 확인하기
- notion.so 에서 문서 몇 개에 ‘중요도’ 태그를 직접 붙여 보세요. 붙이다 보면 ‘이건 중요인지 보통인지’ 경계가 흔들리는 순간이 오는데, 그 흔들림이 라벨링이 늘 마주하는 ‘정답 기준의 모호함’을 체감하게 합니다.
- 사진 앱에서 최근 사진 열 장에 ‘어떤 종류인지’를 한 단어로 붙여 보세요. 열 장도 기준이 흔들리면 일관되게 붙이기 어렵다는 점을 깨닫게 되는데, 이것이 ‘왜 라벨링에 돈과 시간이 드는가’의 바람직한 직관입니다.
- “사람마다 정답을 다르게 붙이면 AI는 무엇을 배울까?”라는 질문에 스스로 답해 보세요. ‘일관된 정답표’가 왜 라벨링의 핵심 조건인지가 한 줄로 잡힙니다.
잘 안 되는 경우
- 정답 자체가 모호하거나 주관적인 경우: ‘이 문장이 긍정인가’, ‘이 사진이 적절한가’처럼 사람마다 답이 갈리는 문제는 라벨링 자체가 불안정합니다. 여러 사람의 답을 모아 다수결로 정해도 경계 사례는 남습니다.
- 라벨링 기준이 도중에 바뀌는 경우: 처음엔 ‘스팸’을 넓게 잡다가 나중엔 좁게 잡으면 정답표가 충돌합니다. 기준을 처음에 명확히 정하고 일관되게 유지하는 일이 라벨링의 숨은 핵심입니다.
정답표를 붙였다면, 마지막은 그 재료를 모델이 소화할 수 있게 손질하는 일입니다.
용어 3: 전처리(Preprocessing) — “날것은 그대로 쓸 수 없다”
이 섹션에서 배우는 것: 전처리가 ‘날것의 데이터를 모델이 소화할 수 있게 손질하는 단계’라는 것, 그래서 이 손질을 건너뛰면 좋은 데이터도 성능을 내지 못한다는 점.
전처리는 날것의 데이터를 모델이 받아들일 수 있는 형태로 다듬는 단계입니다. 한 줄로 말하면, 모델에게 먹이기 전에 데이터를 씻고·통일하고·깎아 내는 손질 과정입니다. 글에서 오타와 쓸모없는 기호를 빼고, 표의 빈칸을 채우거나 지우고, 단위와 형식을 하나로 맞추고, 너무 크거나 작은 값을 적당한 범위로 조절하는 일이 모두 전처리입니다. 사이킷런 데이터 전처리 문서와 위키백과 데이터 전처리는 이 손질 과정을 머신러닝 파이프라인의 필수 단계로 다룹니다.
chatpdf.com 홈페이지
전처리가 왜 빠질 수 없는지는 문서 도구로 체감할 수 있습니다. ChatPDF에 스캔 문서를 올린다고 해 보세요. 문서에 오타, 쪽번호, 표, 그림 설명이 뒤섞여 있으면 AI는 그 날것을 그대로 읽고 헷갈립니다. 그래서 ‘어디부터 어디까지가 본문인지’를 가르쳐 주고, 쓸모없는 기호를 걸러 내는 일이 먼저입니다 — 이것이 전처리의 본질입니다. 모델이 재료를 소화하려면 재료가 먼저 깨끗하고 일관되어야 합니다. 11편에서 다룬 파이프라인이 여러 단계를 한 흐름으로 잇는 일이라면, 전처리는 그 흐름의 첫 관문이며, 6편 임베딩 · 벡터 DB · 지식 절단에서 ‘깨끗하게 정리된 문서’를 전제로 한 이유도 여기에 있습니다. 전처리를 건너뛰면 아무리 좋은 모델, 아무리 많은 데이터도 성능을 내지 못합니다 — 전처리는 성능의 출발선을 세우는 일입니다.
⚠️ 전처리 방식(정규화·표준화·결측치 처리 등)은 데이터 종류와 모델에 따라 다릅니다. 한 방식이 모든 상황에 들어맞지 않으며, 구체적 절차는 사이킷런 전처리 문서에서 확인하세요.
5분 안에 직접 확인하기
- chatpdf.com 에서 형식이 섞인 문서 하나를 올려 보세요. 질문의 답이 문서의 ‘본문’이 아니라 ‘쪽번호’나 ‘표 제목’에서 나온다면, ‘전처리 없이는 날것이 모델을 헷갈리게 한다’는 점을 직접 체감하게 됩니다.
- 평소 쓰는 표에서 단위가 섞인 열(예: ‘1,000원’과 ‘1000’이 같이 있는 경우)을 찾아 보세요. 단위를 하나로 맞추는 일이 왜 ‘손질’의 필수인지가 한 줄로 잡힙니다.
- “모델한테 그냥 올리면 알아서 정리해 주지 않을까?”라는 질문에 스스로 답해 보세요. 정답이 ‘아니다’라면, 전처리가 왜 별도 단계로 존재하는지를 잡은 것입니다.
잘 안 되는 경우
- 손질 과정에서 정보를 잘못 빼거나 바꾼 경우: 전처리에서 너무 많이 깎아 내거나 빈칸을 잘못 채우면, 원래 의미가 변합니다. 손질은 ‘깨끗하게’여야 하지 ‘마음대로’여서는 안 됩니다.
- 데이터 종류에 맞지 않는 전처리를 한 경우: 글·표·이미지는 각각 다른 손질 방식이 필요합니다. 한 분야의 방식을 다른 분야에 그대로 옮기면 오히려 성능을 해칩니다.
세 단어가 이어지는 한 흐름
이 섹션에서 배우는 것: 세 단어가 따로 놀지 않고 ‘재료 선택 → 정답 부여 → 손질’의 한 흐름으로 이어진다는 것.
이 세 단어는 하나의 요리 과정으로 이어집니다. 가장 먼저 데이터로 ‘무엇으로 가르칠까’를 고르고, 그 위에 라벨링으로 ’ 정답은 무엇인가’를 붙이며, 마지막으로 전처리로 ‘모델이 소화할 수 있게 어떻게 손질할까’를 다듬습니다. “재료 선택 → 정답 부여 → 손질”의 한 줄로 묶으면, 왜 AI를 도입하는 회사가 모델보다 데이터부터 살피는지가 자리를 잡습니다.
| 흐름 단계 | 이번 글의 단어 | 하는 일 | 결과가 나타나는 곳 |
|---|---|---|---|
| 재료 선택 | 데이터 | 무엇을 가르칠지 예시 모음을 고름 | ”치우침·오류가 없는가”가 모델의 한계를 정함 |
| 정답 부여 | 라벨링 | 각 예시에 정답 표시를 붙임 | ”정답표가 일관된가”가 모델의 천장을 정함 |
| 손질 | 전처리 | 날것을 모델이 소화할 수 있게 다듦 | ”깨끗하고 일관된가”가 성능의 출발선을 정함 |
이 표를 9편 과적합 · 일반화 · 교차검증과 겹쳐 보면 깊이가 더해집니다. 9편이 ‘외우는 현상’을 다뤘다면, 이번 편은 ‘왜 외우게 됐는가’를 한 걸음 더 거슬러 갑니다 — 치우치거나 틀린 데이터, 흔들리는 정답표, 덜 손질된 날것이 모두 과적합과 편향의 원인이 됩니다. 데이터·라벨링·전처리를 합치면 “정확도 99%“라는 문장이 ‘어떤 재료로, 어떤 정답으로, 어떻게 손질해 잰 점수인가’까지 묻게 만듭니다. 이 점은 AI로 안전하게 데이터 다루기에서 다루는 ‘데이터를 다루는 책임’과도 한 맥락입니다.
자주 묻는 질문 3가지
Q. 데이터가 많으면 무조건 좋은 모델이 나오나요? 반드시 그렇지는 않습니다. 치우치거나 틀린 데이터는 양을 늘려도 모델을 좋게 만들지 못하고, 오히려 편향을 굳힐 수 있습니다. 양보다 ‘대표성’과 ‘품질’이 먼저이며, 이 점은 구글 ML 입문 강좌에서 데이터 품질을 강조하는 까닭입니다.
Q. 라벨링은 사람이 직접 해야 하나요? 기본적으로 정답표는 사람이 만듭니다. 다만 양이 많으면 미리 가르친 모델이 초안을 달아 사람이 검토하는 반자동 방식을 쓰기도 합니다. 그래도 최종 정답은 사람이 확인하는 것이 원칙이며, 절차는 허깅페이스 데이터셋 문서에서 다룹니다.
Q. 전처리는 어떤 도구로 하나요? 데이터 종류에 따라 다릅니다. 표는 스크립트나 라이브러리로, 글은 텍스트 정제 단계로, 문서는 추출·정제 과정으로 손질합니다. 공통된 원칙은 ‘날것을 그대로 쓰지 않고 깨끗하고 일관되게 만든다’는 한 가지이며, 구체적 기법은 사이킷런 전처리 문서에서 확인하세요.
요약
세 단어를 한 문장씩만 기억해도 “왜 AI가 틀리는가”를 다르게 읽힙니다.
- 데이터 → AI를 가르치는 예시 모음. 양보다 대표성과 품질이 모델의 한계를 정한다.
- 라벨링 → 데이터에 정답을 붙이는 작업. 정답표의 일관성이 모델이 도달할 천장을 정한다.
- 전처리 → 날것의 데이터를 손질하는 단계. 깨끗하고 일관된 재료가 성능의 출발선을 세운다.
세 단어를 “무엇으로 가르칠까(데이터) → 정답은 무엇인가(라벨링) → 어떻게 손질할까(전처리)“의 한 줄로 묶어두면, 다음번에 AI가 엉뚱한 답을 내놓을 때 “모델 탓”이 아니라 “무엇을 가르쳤길래?”를 먼저 묻게 됩니다. 이번 주에는 한 가지만 해 보세요 — 어떤 AI 답이 이상하다고 느낄 때 “이 답이 어떤 데이터에서 비롯됐을까?”를 한 줄로 덧붙여 보는 것입니다. 그 작은 질문 하나가 모델 탓에서 데이터 탓으로 시선을 돌리는 눈을 키워줍니다. 다음 글에서는 “AI를 움직이는 하드웨어 — GPU · VRAM · 컴퓨팅, 왜 내 노트북에서는 무거운 모델이 안 돌까”를 이어서 풀 예정입니다.