“이 답이 어디서 나온 건지 모르겠어요” “AI가 그렇게 말했는데 왜 그런지는 안 알려주네요” “근거를 보여달라고 하니까 비슷한 말만 반복해요” — ChatGPT, Claude, Gemini Notebook(구 NotebookLM)을 쓰다 보면 이런 순간을 만납니다. 답은 그럴듯한데 왜 그 답이 나왔는지를 알 수 없으면, 그 답을 믿고 쓸 수 없습니다. “AI는 그냥 알아서 한다”로 넘기면, 왜 어떤 답에는 출처가 붙고 어떤 답에는 안 붙는지, 왜 같은 질문을 다르게 고쳐 쓰면 전혀 다른 답이 나오는지, 왜 “이 모델은 설명이 안 된다”는 말이 성립하는지를 읽을 수 없습니다.
요약 (TL;DR): 투명성 · 설명가능성 · 해석가능성 핵심 요약 셋은 “AI의 무엇을 어디까지 보여주는가”로 갈립니다. 투명성은 모델의 구조·학습 데이터·한계를 만드는 쪽이 밖으로 공개하는 정도라 모델 카드·시스템 카드가 그 영양성분표 역할을 합니다. 설명가능성은 AI가 낸 구체적 결정의 이유를 사람이 이해할 수 있는 말로 전하는 것이라, NotebookLM이 답 아래에 출처 문장을 같이 보여주는 것이 그 결과입니다. 해석가능성은 모델 내부 작동을 분석해 원리를 밝히는 연구·기술 영역으로, 주의 가중치를 시각화해 모델이 어떤 단어를 보고 답했는지 추적하는 블랙박스 안쪽 작업입니다.
이 글은 5분 안에 읽고 AI가 왜 그 답을 냈는지를 묻는 세 단어 — 투명성 · 설명가능성 · 해석가능성을 정리합니다. 각 단어가 “무엇을 가리키고 왜 중요한가”를 ChatGPT · Claude · NotebookLM 같은 도구 화면과 일상 사례로 짚고, 흔히 빠지는 오해까지 잡습니다. 도구 사용법이 아니라 개념을 먼저 잡는 글입니다.
왜 “이유”가 용어 사전에 들어왔나? 우리 블로그의 1편 토큰 · 컨텍스트 · 환각은 AI가 ‘없는 사실을 지어내는 현상’을 다뤘고, 14편 가드레일 · 정렬 · 안전성은 ‘AI가 원치 않는 행동을 하지 않도록 막는 장치’를 다뤘습니다. 그런데 한 가지 빠진 질문이 있습니다 — “AI가 답을 낸 뒤, 그 답이 왜 나왔는지 우리가 알 수 있나?” 이 글이 그 질문에 답합니다 — **무엇을 밖으로 보여줄 것인가(투명성), 결정 이유를 사람의 말로 어떻게 전할 것인가(설명가능성), 모델 안을 직접 들여다볼 수 있나(해석가능성)**를 차례로 보는 ‘AI 용어 사전’ 시리즈의 열다섯 번째 글입니다.
투명성·설명가능성·해석가능성은 어떻게 다를까?
이 섹션에서 배우는 것: 세 단어를 한 줄씩 먼저 훑고, 각각이 “AI의 결정 이유를 알려달라”는 요구에서 어떤 자리를 잡는지 보기.
| 단어 | 한 줄 정의 | 직관적 의미 | 일상 예시 |
|---|---|---|---|
| 투명성(Transparency) | AI 모델의 구조·학습 데이터·한계를 만드는 쪽이 밖으로 공개하는 정도 | ”이 모델이 무엇으로 만들어졌는지 보여주는 영양성분표”, 모델 카드·시스템 카드가 이 표 역할 | ”이 모델은 의료 데이터로 학습했다고 공식 문서에 적혀 있다” |
| 설명가능성(Explainability) | AI가 낸 구체적 결정의 이유를 사람이 이해할 수 있는 말로 전하는 것 | ”이번 답이 왜 나왔는지 한두 문장으로 덧붙이는 일”, 인용·근거·추론 과정이 이 덧붙임의 결과 | ”NotebookLM이 답 아래에 출처 문장을 같이 보여줬다” |
| 해석가능성(Interpretability) | AI 모델의 내부 작동을 분석해 원리를 밝히는 연구·기술 영역 | ”블랙박스 안으로 들여다보는 작업”, 어떤 입력이 어떤 부분을 자극해 답으로 이어졌는지 추적 | ”연구자가 주의 가중치를 시각화해 모델이 ‘어떤 단어를 보고 답했는지’를 찾아냈다” |
⚠️ 이 세 단어는 글과 기사에서 서로 바꿔 쓰이는 경우가 많습니다. 같은 “설명 가능하다”라도 누가 쓰느냐에 따라 ‘투명하게 공개되어 있다’를 뜻하기도 하고 ‘개별 결정의 이유를 댄다’를 뜻하기도 합니다. 이 글은 가장 널리 쓰이는 구분을 따르되, 맥락으로 판단하세요. 출처: Google AI 책임, Partnership on AI
용어 1: 투명성 — “AI의 무엇을 밖으로 보여줄 것인가”
이 섹션에서 배우는 것: 투명성이 ‘모델의 구조·학습 데이터·한계를 만드는 쪽이 밖으로 공개하는 정도’라는 것, 그래서 모델 카드와 시스템 카드가 투명성의 대표적인 산물이라는 점.
투명성(transparency)은 AI 문맥에서 모델을 만든 쪽이 모델의 무엇을 알려주는가를 가리킵니다. 한 줄로 말하면, 모델이 ‘무엇으로 학습했고, 무엇을 잘하고, 어디서 틀리는지’를 밖으로 드러내는 정도입니다. 사용자가 답을 믿을 수 있으려면 먼저 “이 모델이 대체 무엇인가”를 알아야 하는데, 투명성은 바로 그 정보를 제공하는 층입니다. 가장 대표적인 산물이 모델 카드(Model Card) 와 시스템 카드(System Card) — 모델의 능력·한계·학습 데이터의 범위를 요약한 문서입니다. Google 모델 카드는 이 문서 형식을 제안한 사례이며, OpenAI 시스템 카드는 대형 모델의 위험과 한계를 공개적으로 기술하는 문서로 쓰입니다. 허깅페이스 모델 허브는 각 모델 옆에 이런 정보를 올리는 공간을 제공합니다.
chatgpt.com — 대형 AI 서비스는 모델의 한계와 업데이트 내용을 공식 문서로 공개한다
투명성이 왜 결정적인지는 “이 AI를 믿어도 되나?”라는 질문에서 보입니다. 어떤 회사가 “의료 데이터로 학습했다”고 밝히면, 사용자는 “그러면 의료 질문에 쓸 만하겠군”이라고 판단할 수 있습니다. 반대로 아무것도 공개하지 않는 모델은, 답이 그럴듯해도 어디서 왔는지 알 수 없어 신뢰의 근거가 없습니다. 투명성은 모델의 성능을 높이는 것이 아니라, 모델을 판단할 재료를 주는 일입니다. 이것이 4편 GPT · LLM · 오픈소스에서 다룬 ‘오픈소스와 비공개 모델의 차이’의 한 축이기도 합니다 — 오픈소스는 구조와 가중치를 공개하지만, 비공개 모델은 모델 카드라는 문서로만 정보를 전달합니다. 어느 쪽이든 공개하는 내용의 ‘깊이’가 투명성의 정도입니다.
5분 안에 직접 확인하기
- 평소 쓰는 AI 서비스의 ‘소개’ 또는 ‘모델’ 페이지를 찾아 보세요. 대부분 “이 모델이 무엇을 잘하고 무엇을 못하는지”를 짧게 적어 둡니다. “이 회사는 무엇을 공개하나”를 한 줄로 적어 보면, 그 회사의 투명성 수준이 보입니다.
- modelcards.withgoogle.com에서 모델 카드 예시 하나를 열어 보세요. 항목이 ‘무엇을 잘하는가’에서 ‘어떤 편향이 있나’까지 이어지는 구조를 보면, 투명성이 ‘장점만 말하는 것’이 아님을 알 수 있습니다.
- “투명성이 100% 가능한가?”라는 질문에 스스로 답해 보세요. 정답은 “불가능하다”입니다 — 학습 데이터 전체를 공개하면 개인정보와 저작권 문제가 생기고, 가중치를 공개하면 악용 위험이 생깁니다. 투명성은 ‘다 공개하느냐’가 아니라 ‘무엇을, 어디까지 공개하느냐’의 균형입니다.
잘 안 되는 경우
- 법적·보안: 학습 데이터를 전부 공개할 수 없는 경우: 학습 데이터에는 개인정보·저작물이 섞여 있어, 전체를 공개하면 법적 문제가 생깁니다. 그래서 회사는 ‘데이터의 범위’만 묘사하고 원본은 공개하지 않으며, 이것이 투명성의 한계가 됩니다. 출처: EU AI Act 데이터 투명성 조항
- 기술적 한계: 모델이 커질수록 뭘 공개해도 이해하기 어려운 경우: 수천억 개 매개변수를 가진 모델의 구조를 문서로 써도, 사람이 그것을 읽고 모델을 ‘이해’하기는 어렵습니다. 투명성은 ‘재료를 주는 일’이지 ‘이해를 보장하는 일’이 아닙니다.
용어 2: 설명가능성 — “결정 이유를 사람의 말로”
이 섹션에서 배우는 것: 설명가능성이 ‘AI가 낸 구체적 결정의 이유를 사람이 이해할 수 있는 말로 전하는 것’이라는 점, 그래서 인용·근거·추론 과정이 설명가능성의 결과라는 것.
설명가능성(explainability)은 AI가 이번에 낸 이 답이 왜 나왔는지를 사람이 이해할 수 있게 덧붙이는 일입니다. 한 줄로 말하면, 모델이 ‘이 답’을 냈을 때 그 근거를 사람의 말로 같이 보여주는 것입니다. 투명성이 ‘모델 전체에 대한 정보’라면, 설명가능성은 ‘바로 이번 결정에 대한 이유’입니다 — 영양성분표가 투명성이라면, “이 요리에 이 재료가 들어간 이유”가 설명가능성에 가깝습니다. 가장 눈에 보이는 형태가 인용과 출처입니다. NotebookLM이 답 아래에 원문 문장을 달아주는 것, 검색 기반 AI가 링크를 거는 것은 모두 “왜 이 답을 냈는지의 근거”를 보여주는 설명가능성의 사례입니다. DARPA XAI(설명 가능 AI) 프로그램은 이 분야를 체계적으로 연구해 온 대표적 프로젝트이며, SHAP과 LIME은 개별 결정의 이유를 수치로 보여주는 오픈소스 도구입니다.
claude.ai — Claude는 추론 과정을 단계로 펼쳐 보여 ‘왜 이 답에 이르렀는지’를 전한다
설명가능성이 왜 결정적인지는 “이 답을 써도 되나?”라는 순간에 보입니다. AI가 “이 계약 조항에는 주의가 필요하다”고 할 때, 이유를 안 주면 그냥 의견일 뿐입니다. 하지만 “이 조항은 손해배상 범위가 무제한이라, 이 부분이 위험하다”고 이유를 대면, 사용자는 그 근거를 직접 확인할 수 있습니다. 설명이 없는 답은 믿거나 말거나뿐이지만, 설명이 있는 답은 검증할 수 있습니다. 이것이 8편 정확도 · 정밀도 · 재현율에서 다룬 ‘정량적 평가’와 짝을 이루는 지표이기도 합니다 — 정확도가 ‘전체에서 맞힌 비율’이라면, 설명가능성은 ‘이번 답이 왜 맞다고 하는가’를 다룹니다. Claude가 답을 내기 전 추론 과정을 단계로 보여주는 기능, NotebookLM이 출처를 거는 기능은 모두 “답만 주지 않고 이유까지 준다”는 설명가능성의 설계입니다. 이 점은 AI 리서치 도구 비교에서 다루는 ‘출처가 붙는 AI가 왜 연구에 유리한가’의 근거이기도 합니다.
5분 안에 직접 확인하기
- 두 AI 서비스에 같은 사실 질문을 하고 “왜 그렇게 생각하느냐”고 따져 보세요. 출처나 근거를 붙이는 서비스와 그렇지 않은 서비스의 차이가 설명가능성의 차이입니다. 어느 쪽이 더 검증하기 쉬운지 비교해 보면, 설명의 가치가 체감됩니다.
- github.com/shap/shap 저장소의 소개를 읽어 보세요. “개별 결정에서 어떤 입력이 결과에 얼마나 기여했는지”를 수치로 보여주는 아이디어가 설명가능성의 핵심입니다 — 코드를 실행하지 않아도 개념은 읽을 수 있습니다.
- “설명을 잘하면 그 모델이 더 정확한가?”라는 질문에 스스로 답해 보세요. 정답은 “꼭 그렇지는 않다”입니다 — 그럴듯한 거짓 설명을 붙이는 모델도 있어서, 설명의 ‘있음’과 설명의 ‘진실’은 다른 문제입니다.
잘 안 되는 경우
- 법적·규제: 설명 의무가 법으로 정해진 분야에서 한계에 부닥치는 경우: 유럽연합의 AI 법안(AI Act)은 고위험 AI 시스템에 결정 이유를 설명할 것을 요구합니다. 하지만 대형 언어모델이 결정을 내린 정확한 내부 경로를 완전히 설명하는 것은 기술적으로 어려워, 규정을 충족하더라도 설명이 ‘충분한가’를 두고 논쟁이 남습니다. 출처: EU AI Act
- 기술적 한계: 설명 자체가 또 다른 ‘추측’인 경우: 모델이 답 뒤에 붙이는 이유가, 모델이 실제로 답을 낸 경로와 다를 수 있습니다. 이를 ‘그럴듯한 합리화(rationalization)‘라 부르며, 설명이 있어도 그 설명을 곧이곧대로 믿을 수 없는 근본적 한계입니다.
용어 3: 해석가능성 — “블랙박스 안을 들여다보는 작업”
이 섹션에서 배우는 것: 해석가능성이 ‘AI 모델의 내부 작동을 분석해 원리를 밝히는 연구 영역’이라는 것, 그래서 투명성·설명가능성과 달리 모델 안쪽을 직접 들여다보는 작업이라는 점.
해석가능성(interpretability)은 AI 문맥에서 모델의 내부 작동을 분석해 원리를 밝히는 연구와 기술 영역을 가리킵니다. 한 줄로 말하면, 모델이 답을 낸 ‘내부 과정’을 직접 추적하고 시각화하는 일입니다. 투명성이 ‘회사가 밖으로 공개하는 정보’이고 설명가능성이 ‘이번 결정의 이유를 덧붙이는 것’이라면, 해석가능성은 ‘모델 안에서 무슨 일이 일어났는지를 연구자가 직접 찾아내는 작업’입니다 — 세 단어 중 가장 안쪽을 다룹니다. 언어모델의 주의(attention) 가중치를 시각화해 “이 모델이 어떤 단어를 보고 답을 냈는지”를 추적하는 연구, 특정 뉴런이 어떤 개념에 반응하는지를 찾는 연구가 여기에 속합니다. Anthropic 해석가능성 연구는 언어모델 내부의 구조를 밝히는 대표적인 사례이며, Google People + AI Research(PAIR)는 모델의 내부를 시각화하는 도구와 방법론을 다룹니다.
notebook.google.com(구 notebooklm.google.com) — 출처를 거는 기능은 해석가능성의 결과를 사용자에게 전달하는 한 형태다
해석가능성이 왜 결정적인지는 “AI를 뜯어고치려면 원리를 알아야 한다”는 지점에서 보입니다. 모델이 특정 질문에 계속 틀린 답을 낸다면, 겉의 답만 고치는 것(설명가능성)으로는 한계가 있습니다. “왜 틀리는가”를 내부에서 찾아야 근본적으로 고칠 수 있습니다. 해석가능성은 모델을 ‘쓰는’ 사람이 아니라 모델을 ‘만들고 고치는’ 사람에게 가장 중요한 단어이지만, 일반 사용자에게도 의미가 있습니다 — 연구자가 모델 내부를 밝히면, 그 결과가 결국 모델 카드(투명성)와 결정 이유(설명가능성)로 흘러들어 사용자에게 보이기 때문입니다. 이것이 12편 데이터 · 라벨링 · 전처리에서 다룬 ‘데이터 품질이 근본’이라는 말과 이어집니다 — 데이터가 어떻게 들어갔는지를 내부에서 추적할 수 있어야, 편향의 원인을 찾을 수 있습니다. 이 점은 11편 자율성 · 도구 사용 · 파이프라인에서 다룬 자율 에이전트가 왜 ‘결정을 열어 보이는 설계’를 필요로 하는지의 이유이기도 합니다.
⚠️ 해석가능성 연구는 빠르게 변하는 분야입니다. 특정 모델의 내부 구조를 밝혔다는 연구 결과는 모델 버전이 바뀌면 더 이상 들어맞지 않을 수 있습니다. 이 글의 설명은 2026년 8월 기준이며, 최신 연구 동향은 각 연구 기관의 공식 발표에서 확인하세요. 출처: Anthropic 연구, Google PAIR
5분 안에 직접 확인하기
- “언어모델은 왜 블랙박스라고 부를까?”라는 질문에 스스로 답해 보세요. 정답의 실마리는 — 모델이 수천억 개의 숫자(매개변수) 사이에서 답을 고르는데, 그 과정을 사람이 한눈에 따라갈 수 없기 때문입니다. 해석가능성은 바로 이 ‘따라갈 수 없음’을 줄이는 작업입니다.
- anthropic.com/research에서 제목에 ‘해석가능성(interpretability)‘이나 ‘기계적 해석가능성(mechanistic)‘이 들어간 글의 제목만 읽어 보세요. “모델 안에서 무엇을 찾으려 하나”가 보이면, 해석가능성이 모델 밖이 아니라 안쪽을 다룬다는 감각이 잡힙니다.
- “해석가능성이 높으면 모델이 더 안전해지나?”라는 질문에 스스로 답해 보세요. 정답은 “직접적으론 아니다”입니다 — 원리를 아는 것과 그것을 고쳐 안전하게 만드는 것은 다른 단계이며, 해석가능성은 ‘진단’이지 ‘치료’ 그 자체는 아닙니다.
잘 안 되는 경우
- 보안 위험: 내부 구조를 공개하면 공격 표면이 커지는 경우: 모델의 내부 작동을 상세히 공개하면, 악의적 사용자가 그 약점을 이용해 모델을 속이거나 가드레일을 우회하는 데 활용할 수 있습니다. 그래서 해석가능성 연구 결과를 어디까지 공개할지는 보안과 투명성 사이의 판단 문제입니다. 출처: Partnership on AI
- 기술적 한계: 모델이 클수록 내부를 전부 해석하는 게 불가능한 경우: 수천억 개 매개변수의 모든 상호작용을 사람이 이해하는 형태로 풀어내는 것은 현실적으로 불가능합니다. 해석가능성은 ‘전부 이해한다’가 아니라 ‘핵심 경로를 찾아낸다’를 목표로 하며, 그래서 부분적일 수밖에 없습니다.
세 단어가 이어지는 한 흐름
이 섹션에서 배우는 것: 세 단어가 따로 놀지 않고 ‘무엇을 보여줄까에서 왜 이 답인가로, 그리고 그 안을 직접 볼 수 있나로’의 점점 깊어지는 과정으로 이어진다는 것.
이 세 단어는 “AI의 결정 이유를 알려달라”는 하나의 요구를 밖에서 안으로 파고드는 세 층으로 이어집니다. 가장 바깥이 투명성으로 ‘모델이 무엇인지를 공개한다’, 그 안이 설명가능성으로 ‘이번 답이 왜 나왔는지를 덧붙인다’, 가장 깊은 곳이 해석가능성으로 ‘모델 안에서 무슨 일이 일어났는지를 찾아낸다’를 다룹니다. “공개, 설명, 해석”의 한 줄로 묶으면, 왜 AI를 만드는 사람이 “모델 카드를 쓰고, 결정 이유를 달고, 내부를 분석한다”를 연달아 말하는지가 자리를 잡습니다.
| 인식 층 | 이번 글의 단어 | 묻는 질문 | 결과가 나타나는 곳 |
|---|---|---|---|
| 공개 | 투명성 | ”이 모델이 무엇인가?” | 모델 카드, 시스템 카드, 학습 데이터 범위 |
| 설명 | 설명가능성 | ”이번 답은 왜 나왔나?” | 인용, 출처 링크, 추론 과정, 근거 문장 |
| 해석 | 해석가능성 | ”모델 안에서 무슨 일이 일어났나?” | 주의 가중치 시각화, 뉴런 분석, 내부 구조 지도 |
이 표를 14편 가드레일 · 정렬 · 안전성과 겹쳐 보면 각도가 달라 보입니다. 14편이 ‘AI가 해를 끼치지 않도록 막는 장치’를 다뤘다면, 이번 편은 ‘AI가 낸 답의 이유를 알 수 있는가’를 다룹니다 — 안전은 “안 되는 것을 막는” 문제이고, 해석은 “왜 됐는지를 아는” 문제입니다. 둘은 서로를 필요로 합니다: 안전 장치가 제대로 작동하는지 확인하려면 결정 이유를 들여다볼 수 있어야 하고, 결정 이유를 제대로 설명하려면 안전 기준 위에서 답이 나왔는지를 알아야 합니다. 이 점은 AI 프라이버시 · 데이터 안전에서 다루는 ‘AI에 올리는 데이터가 안전한가’라는 질문의 연장선에 있으며, AI 구독 결정 가이드에서 고르는 ‘어떤 서비스를 신뢰할까’의 판단 근거이기도 합니다 — 투명성 문서의 깊이와 설명의 충실도가 장기적 신뢰의 기준이 됩니다.
자주 묻는 질문 3가지
Q. AI가 답과 함께 “왜 그렇게 답했는지”를 달아주면, 그 설명을 믿어도 되나요?
완전히 믿기는 어렵습니다. 모델이 붙인 설명이 실제로 답을 낸 내부 경로와 일치한다는 보장이 없기 때문입니다. 설명은 ‘도움이 되는 단서’로 쓰되, 중요한 결정이라면 설명이 가리키는 근거를 직접 확인하는 것이 안전합니다. 출처: Google AI 책임 — 설명 가능성, DARPA XAI
Q. “오픈소스 모델”과 “투명성이 높은 모델”은 같은 말인가요?
같은 말은 아닙니다. 오픈소스는 모델의 구조와 가중치를 공개하는 것이고, 투명성은 ‘무엇을 알려주는가’의 정도입니다. 가중치를 공개해도 학습 데이터를 공개하지 않으면 투명성의 한 축이 비고, 반대로 비공개 모델이라도 모델 카드가 상세하면 투명성의 다른 축이 채워집니다. 출처: 허깅페이스 모델 문서, 4편 GPT · LLM · 오픈소스
Q. 해석가능성은 일반 사용자에게도 중요한가요?
직접 쓰는 기능은 아니지만, 간접적으로 중요합니다. 연구자가 모델 내부를 밝히면 그 결과가 결국 모델 카드(투명성)와 결정 이유(설명가능성)로 흘러들어, 사용자가 보는 정보의 질이 올라가기 때문입니다. 해석가능성은 “사용자가 직접 하는 일”이라기보다 “사용자가 받는 혜택의 근원”에 가깝습니다. 출처: Google PAIR
요약
세 단어를 한 문장씩만 기억해도 “AI가 왜 그 답을 냈는지”를 묻는 질문의 방향이 잡힙니다.
- 투명성 → 모델이 무엇인지를 밖으로 공개하는 정도. 모델 카드와 시스템 카드가 투명성의 대표적 산물이다.
- 설명가능성 → 이번 결정의 이유를 사람의 말로 덧붙이는 것. 인용과 출처가 가장 눈에 보이는 형태다.
- 해석가능성 → 모델 안의 작동을 직접 분석해 원리를 밝히는 연구. 세 단어 중 가장 안쪽을 다룬다.
세 단어를 “무엇을 보여줄까(투명성) → 왜 이 답인가(설명가능성) → 안에서 무슨 일이 일어났나(해석가능성)“의 점점 깊어지는 시선으로 묶어두면, 다음번에 AI가 답을 낼 때 “이 답에 근거가 있나, 회사가 모델을 어떻게 설명하나, 연구자는 안에서 무엇을 찾고 있나”를 나누어 생각하게 됩니다. 이번 주에는 한 가지만 해 보세요 — 평소 쓰는 AI 서비스가 답과 함께 출처나 이유를 달아주는지, 달아준다면 그 근거가 진짜인지 직접 열어 확인하는 것입니다. “이유를 달아주는가”를 한 줄로 적어 보면, 그 서비스가 설명가능성을 얼마나 진지하게 다루는지가 보입니다. 다음 글에서는 “AI가 누구에게 불공평한가 — 편향 · 공정성 · 대표성”을 이어서 풀 예정입니다.