AI 용어 사전 14편 (2026) — 가드레일 · 정렬 · 안전성, AI가 스스로를 멈추게 하는 세 단어

“이 질문에는 답할 수 없습니다” “그 내용은 안전 정책에 따라 다룰 수 없습니다” “도움이 되는 방향으로 대답하겠습니다” — ChatGPT, Claude, Gemini 어디서나 이런 문장을 만납니다. 어떤 질문은 신나게 답하다가 어떤 질문은 선을 긋고, 같은 질문을 다르게 고쳐 쓰면 답이 나옵니다. 이 선을 긋는 기계장치를 이해하지 못하면, “AI가 왜 이건 하고 저건 안 하나”를 영원히 추측으로만 남깁니다. “AI는 그냥 다 알아서 한다”로 넘기면, 왜 어떤 요청은 거부당하는지, 왜 모델마다 거부의 기준이 다른지, 왜 “오픈소스 모델은 그냥 가져다 쓰면 위험하다”는 말이 성립하는지를 읽을 수 없습니다.

요약 (TL;DR): 가드레일 · 정렬 · 안전성 핵심 요약 셋은 크기가 다른 세 겹입니다. 가드레일은 모델의 입력과 출력을 검사해 규칙에 어긋나면 차단하는 필터로, 답이 나오기 직전에 한 번 더 거르는 문이고 거절 메시지가 그 문의 결과입니다. 정렬은 모델의 목표와 행동을 사람의 의도·가치에 맞추는 조정 작업이라, 모델이 “좋은 답”이 아니라 “사람이 원하는 답”을 내도록 가르치는 일입니다. 안전성은 그 둘을 품는 더 큰 원으로, AI가 예측 불가능하거나 해를 끼치는 방식으로 행동하지 않도록 보장하는 전체 분야이며 위험 평가와 정책까지 포함합니다.

이 글은 5분 안에 읽고 AI가 스스로를 멈추게 하는 세 단어 — 가드레일 · 정렬 · 안전성을 정리합니다. 각 단어가 “무엇을 가리키고 왜 중요한가”를 ChatGPT · Claude · Gemini 같은 도구 화면과 일상 사례로 짚고, 흔히 빠지는 오해까지 잡습니다. 도구 사용법이 아니라 개념을 먼저 잡는 글입니다.

왜 “안전”이 용어 사전에 들어왔나? 우리 블로그의 1편 토큰 · 컨텍스트 · 환각은 AI가 ‘없는 사실을 지어내는 현상’을 다뤘고, 7편 지도 · 비지도 · 강화학습은 ‘모델을 어떻게 가르치는가’를 다뤘습니다. 그런데 한 가지 빠진 질문이 있습니다 — “가르친 뒤에, AI가 원치 않는 행동을 하지 않도록 어떻게 막나?” 이 글이 그 질문에 답합니다 — **출력을 거르는 장치(가드레일), 목표를 맞추는 작업(정렬), 그 전체를 보장하는 분야(안전성)**를 차례로 보는 ‘AI 용어 사전’ 시리즈의 열네 번째 글입니다.

가드레일·정렬·안전성은 각각 무엇을 맡을까?

이 섹션에서 배우는 것: 세 단어를 한 줄씩 먼저 훑고, 각각이 AI의 행동 제어에서 어떤 자리를 잡는지 보기.

단어	한 줄 정의	직관적 의미	일상 예시
가드레일(Guardrails)	AI 모델의 입력과 출력을 검사해 규칙에 어긋나면 차단하는 필터	”답이 나오기 직전에 한 번 더 거르는 문”, 거절 메시지가 이 문의 결과	”폭력적인 질문을 하니 답변을 거부했다”
정렬(Alignment)	AI 모델의 목표와 행동을 인간의 의도·가치에 맞추는 조정 작업	”모델이 ‘좋은 답’이 아니라 ‘인간이 원하는 답’을 내도록 가르치는 일"	"내 지시를 정확히 따르고 존댓말로 답한다”
안전성(Safety)	AI가 예측 불가능하거나 해를 끼치는 방식으로 행동하지 않도록 보장하는 전체 분야	”가드레일과 정렬을 품은 더 큰 원”, 위험 평가와 정책까지 포함	”AI가 누구에게나 안전한지 정부와 회사가 따진다”

⚠️ AI 안전 정책은 모델과 회사마다, 그리고 시기에 따라 바뀝니다. 어떤 질문이 거부되는지, 어떤 주제가 제한되는지는 각 서비스의 공식 안전 정책 페이지에서 확인하세요. 출처: OpenAI 안전, Anthropic 안전, Google AI 책임

용어 1: 가드레일 — “AI의 출력을 거르는 마지막 문”

이 섹션에서 배우는 것: 가드레일이 ‘입력과 출력을 규칙으로 검사해 통과시키거나 차단하는 필터’라는 것, 그래서 “이 질문에는 답할 수 없습니다”라는 거절 메시지가 가드레일의 결과라는 점.

가드레일(guardrails)은 원래 도로의 ‘안전 난간’을 뜻하는 말입니다. AI 문맥에서는 모델이 입력을 받아 출력을 내기 전과 후에 거르는 규칙과 필터를 가리킵니다. 한 줄로 말하면, 모델 자체는 ‘할 수 있는’ 답이라도, 가드레일이 ‘해서는 안 되는’ 답이라고 판단하면 그 답을 막는 마지막 문입니다. 사용자가 가장 직접 체감하는 단어이기도 합니다 — “이 질문에는 답할 수 없습니다”라는 거절 문장은 대부분 가드레일이 작동한 결과입니다. NVIDIA NeMo Guardrails는 이런 규칙 기반 필터를 만드는 오픈소스 도구의 대표적인 예이며, 허깅페이스 생성 전략 문서는 출력 단계에서 모델의 행동을 제어하는 기술을 다룹니다.

ChatGPT 화면 chatgpt.com — 거절 메시지가 보이면, 그 뒤에서 가드레일이 작동한 것이다

가드레일이 왜 결정적인지는 일상 사용에서 선명하게 보입니다. ChatGPT에 “누군가를 속이는 방법을 알려줘”라고 물으면, 모델은 거절 문장을 냅니다. 이때 재미있는 점은 — 모델이 그 지식이 없어서가 아니라, 가드레일이 답이 나가는 것을 막은 것이라는 점입니다. 같은 이유로 의료·법률·금융 같은 전문 분야의 질문에 “전문가에게 문의하라”는 면책 문구가 붙는 것도, 회사가 가드레일 규칙으로 정해둔 결과입니다. 즉 가드레일이 없는 모델은 질문하면 무엇이든 답하는 상태이며, 이것이 4편 GPT · LLM · 오픈소스에서 다룬 ‘오픈소스 모델을 막 가져다 쓰면 위험한 이유’이기도 합니다 — 오픈소스 모델은 가드레일을 직접 달아야 하기 때문입니다.

5분 안에 직접 확인하기

평소 쓰는 AI 서비스에 “위험한 농담 하나 해줘”라고 물어보세요. 거절 문장의 정확한 문구를 적어 보면, 그 회사의 가드레일이 어떤 톤으로 거부하는지가 보입니다. “거절의 문구”가 회사마다 다릅니다.
github.com/NVIDIA/NeMo-Guardrails 저장소의 README를 읽어 보세요. 가드레일이 ‘무엇을 입력받아 무엇을 차단하는가’를 규칙으로 정의하는 방식이 예시로 나옵니다.
“가드레일을 전부 빼면 AI가 더 똑똑해지나?”라는 질문에 스스로 답해 보세요. 정답은 “더 많은 답을 내지만, 그중에 해로운 답이 섞인다”입니다 — 가드레일은 ‘똑똑함’이 아니라 ‘안전함’을 담당합니다.

잘 안 되는 경우

법적·규제: 가드레일 기준이 국가마다 다른 경우: 같은 질문이라도 서비스가 적용하는 지역의 법률에 따라 허용 여부가 다릅니다. EU의 AI 법안(AI Act)과 한국의 규제가 다르면, 같은 모델이라도 지역 설정에 따라 다른 답을 냅니다. EU AI Act 공식 사이트에서 규제 범위를 확인할 수 있습니다.
기술적 한계: 가드레일을 우회하는 질문에 당하는 경우: 사용자가 질문을 우회적으로 고쳐 쓰면 가드레일을 빠져나가는 경우가 있습니다. 이를 ‘탈옥(jailbreak)‘이라 부르며, 회사는 이에 대응해 규칙을 계속 업데이트하지만, 완벽한 차단은 기술적으로 어렵습니다.

용어 2: 정렬 — “AI의 목표를 인간의 의도에 맞추기”

이 섹션에서 배우는 것: 정렬이 ‘모델의 목표와 행동을 인간의 의도에 맞추는 조정 작업’이라는 것, 그래서 모델이 ‘좋은 답’이 아니라 ‘인간이 원하는 답’을 내도록 가르쳐진다는 점.

정렬(alignment)은 AI가 인간의 의도·가치·명령을 따르도록 모델을 조정하는 작업입니다. 한 줄로 말하면, 모델이 ‘할 수 있는’ 것 중에서 ‘인간이 원하는’ 것을 골라내도록 가르치는 일입니다. 가드레일이 ‘출력을 거르는 문’이라면, 정렬은 ‘모델 자체의 성향을 바꾸는 작업’입니다 — 문을 달기 전에, 모델이 애초에 도움이 되는 방향으로 답하도록 훈련하는 것입니다. 대표적인 기법이 7편 지도 · 비지도 · 강화학습에서 다룬 강화학습의 변형 — **인간 피드백 기반 강화학습(RLHF, Reinforcement Learning from Human Feedback)**입니다. OpenAI 정렬 연구는 이 작업이 왜 어렵고 중요한지를 다루며, Anthropic의 헌법적 AI(Constitutional AI)는 명시적인 원칙으로 모델을 정렬하는 또 다른 경로를 보여줍니다.

Claude 화면 claude.ai — Claude는 ‘도움되고 정직하며 무해한’ 방향으로 정렬된 모델이다

정렬이 왜 결정적인지는 “왜 AI가 내 지시를 잘 따르나?”라는 질문에서 보입니다. Claude나 ChatGPT에 “한국어로 존댓말로 답해”라고 하면, 모델은 그 지시를 따릅니다. 이것은 모델이 태어날 때부터 그렇게 한 것이 아니라, 수많은 인간 평가자가 “이 답이 더 도움된다”고 표시한 데이터로 모델을 다시 훈련(정렬)한 결과입니다. 정렬이 없는 원본 모델은 질문의 의도와 상관없이 통계적으로 가장 그럴듯한 다음 단어를 이어 쓸 뿐이며, 이것이 2편 프롬프트 · RAG · 파인튜닝에서 다룬 ‘파인튜닝’과 맞닿아 있습니다 — 파인튜닝이 특정 작업에 맞추는 것이라면, 정렬은 ‘일반적으로 인간이 원하는 방향’에 맞추는 더 넓은 작업입니다. 이 점은 AI 챗봇 비교에서 다루는 ‘모델마다 성격과 톤이 다른 이유’의 뿌리이기도 합니다.

5분 안에 직접 확인하기

두 AI 서비스에 같은 질문을 하고 답의 ‘성격’을 비교해 보세요. ChatGPT와 Claude에 “재미있는 이야기 하나 써줘”라고 물으면, 톤과 길이가 다릅니다. 이 차이가 각 회사의 정렬 방식의 차이입니다.
openai.com/research/alignment 페이지를 읽어 보세요. “정렬이 왜 풀기 어려운 문제인가”를 한 문단으로 설명하는 부분을 찾아 보면, ‘인간이 원하는 것’ 자체를 정의하기 어렵다는 핵심이 보입니다.
“정렬을 너무 강하게 하면 어떻게 되나?”라는 질문에 스스로 답해 보세요. 정답은 “모델이 지나치게 조심해서 무해한 질문도 거부하는 현상이 생긴다”입니다 — 이를 ‘과도한 거부(over-refusal)‘라 부릅니다.

잘 안 되는 경우

보안 위험: 정렬된 모델을 다시 ‘탈정렬’하려는 공격: 정렬을 깨뜨리기 위해 특수한 프롬프트로 모델을 속이는 시도가 계속됩니다. 정렬이 한 번의 훈련으로 끝나는 것이 아니라 지속적인 업데이트 대상인 이유이며, 공격 기법이 진화하면 방어도 바뀝니다.
기술적 한계: ‘인간이 원하는 것’ 자체가 모호한 경우: 서로 다른 사람이 원하는 것이 충돌하면, 모델을 어느 쪽에 정렬할지가 정답이 없는 문제가 됩니다. 이것은 기술 문제라기보다 가치 문제이며, 모델 하나로 모두를 만족시킬 수 없는 근본적 한계입니다.

용어 3: 안전성 — “AI가 예측 불가능하게 행동하지 않도록 보장”

이 섹션에서 배우는 것: 안전성이 ‘AI가 해를 끼치거나 예측 불가능하게 행동하지 않도록 보장하는 전체 분야’라는 것, 가드레일과 정렬을 품고 위험 평가와 정책까지 아우른다는 점.

안전성(safety)은 AI 문맥에서 AI가 예측 불가능하거나 해를 끼치는 방식으로 행동하지 않도록 보장하는 전체 분야를 가리킵니다. 한 줄로 말하면, 가드레일은 ‘출력 필터’이고 정렬은 ‘목표 조정’이지만, 안전성은 그 둘을 품고 ‘이 모델을 써도 되는가’를 묻는 가장 큰 틀입니다. 안전성 연구는 기술적 장치(가드레일, 정렬)뿐 아니라 레드팀(red-teaming) — 의도적으로 모델을 공격해 취약점을 찾는 테스트 — 과 위험 평가, 그리고 규제 정책까지 포함합니다. Google AI 책임과 EU AI Act는 안전성을 정책과 제도로 다루는 대표적인 문서입니다.

Gemini 화면 gemini.google.com — 대형 AI 서비스는 안전성을 제품 설계 단계부터 반영한다

안전성이 왜 결정적인지는 “이 AI를 믿어도 되나?”라는 질문에서 보입니다. AI 도입을 검토하는 사람이 가장 먼저 묻는 것이 ‘이 모델이 우리 데이터를 안전하게 다루나’, ‘예상치 못한 답을 내지 않나’입니다. 이 질문에 답하기 위해 회사는 레드팀 테스트를 하고, 정부는 위험 등급을 매기며, 연구자는 모델이 언제 환각을 일으키는지를 측정합니다. 1편 토큰 · 컨텍스트 · 환각에서 다룬 환각 현상도 안전성의 한 축입니다 — 없는 사실을 자신 있게 말하는 모델은, 그 자체로 안전성 위험입니다. 이 점은 AI 프라이버시 · 데이터 안전에서 다루는 ‘AI에 올리는 데이터가 안전한가’라는 질문과 한 맥락이며, 11편 자율성 · 도구 사용 · 파이프라인에서 다룬 자율 에이전트가 왜 ‘안전하게 멈추는 설계’를 필요로 하는지의 이유이기도 합니다.

⚠️ “AI 안전”이라는 말은 회사의 마케팅 문구와 연구자의 기술 용어가 섞여 쓰입니다. 같은 “안전”이라도 어떤 맥락에서는 ‘거부 메시지’를, 어떤 맥락에서는 ‘시스템 수준의 위험 평가’를 가리킵니다. 어느 수준의 안전을 말하는지 맥락으로 구분하세요. 출처: Partnership on AI, EU AI Act 위험 등급

5분 안에 직접 확인하기

평소 쓰는 AI 서비스의 ‘이용약관’이나 ‘안전 정책’ 페이지를 찾아 보세요. 대부분의 서비스가 ‘금지하는 사용’ 항목을 명시해 둡니다. “이 회사는 무엇을 ‘안전하지 않다’고 보나?”를 한 줄로 적어 보면, 그 회사의 안전성 기준이 보입니다.
partnershiponai.org에서 안전 관련 자료 하나를 골라 제목만 읽어 보세요. AI 안전이 단일 기술이 아니라 다양한 연구 주제의 묶음이라는 감각이 생깁니다.
“안전성을 100% 보장할 수 있나?”라는 질문에 스스로 답해 보세요. 정답은 “없다”입니다 — 안전성은 ‘완벽하게 안전한 상태’가 아니라 ‘알려진 위험을 줄이고 새 위험을 계속 찾는 과정’입니다.

잘 안 되는 경우

법적·규제: 안전 기준이 산업마다 다른 경우: 의료 AI와 일반 챗봇에 요구되는 안전 수준이 다릅니다. 같은 ‘안전’이라도 분야에 따라 감당해야 할 위험의 종류와 규모가 달라서, 한 모델이 모든 산업의 안전 기준을 동시에 충족하기는 어렵습니다.
기술적 한계: 새로운 위험 유형이 예고 없이 나타나는 경우: 모델이 커질수록 이전에 없던 방식으로 실수를 하는 ‘신흥 위험(emergent risk)‘이 나타납니다. 레드팀 테스트는 알려진 위험을 잡지만, 아무도 예상하지 못한 행동은 사전에 찾기 어렵습니다.

세 단어가 이어지는 한 흐름

이 섹션에서 배우는 것: 세 단어가 따로 놀지 않고 ‘필터에서 조정으로, 조정에서 전체 보장으로’의 점점 넓어지는 원으로 이어진다는 것.

이 세 단어는 하나의 방어 설계로 이어집니다. 가장 좁은 것이 가드레일로 ‘이번 출력을 통과시킬까’, 그보다 넓은 것이 정렬로 ‘모델 자체가 어떤 방향을 향하고 있나’, 가장 넓은 것이 안전성으로 ‘이 모델을 사회에 내놓아도 되나’를 묻습니다. “출력 필터, 목표 조정, 전체 보장”의 한 줄로 묶으면, 왜 AI를 만드는 사람이 “가드레일을 달고, 정렬을 하고, 안전성을 평가한다”를 연달아 말하는지가 자리를 잡습니다.

방어 계층	이번 글의 단어	묻는 질문	결과가 나타나는 곳
출력 필터	가드레일	”이 답을 내보내도 되나?”	거절 메시지, 면책 문구, 주제 제한
목표 조정	정렬	”모델이 인간이 원하는 방향을 향하나?”	지시를 따르는 정도, 답의 톤, 도움됨
전체 보장	안전성	”이 모델을 사회에 내놓아도 되나?”	위험 등급, 규제 준수, 레드팀 결과

이 표를 13편 GPU · VRAM · 컴퓨팅과 겹쳐 보면 깊이가 더해집니다. 13편이 ‘AI를 돌리는 하드웨어’를 다뤘다면, 이번 편은 ‘AI가 해를 끼치지 않도록 거르는 장치’를 다룹니다 — 빠른 AI와 안전한 AI는 다른 질문입니다. 가드레일, 정렬, 안전성을 합치면 “AI 도입”이라는 문장이 ‘얼마나 빠른가’에서 ‘얼마나 안전한가’까지 묻게 만듭니다. 이 점은 AI 구독 결정 가이드에서 다루는 ‘어떤 서비스를 고를까’의 판단 근거이기도 합니다 — 기능과 가격뿐 아니라, 그 회사가 안전성에 얼마나 투자하는지가 장기적 신뢰의 기준이 됩니다.

자주 묻는 질문 3가지

Q. AI가 내 질문을 거부하면, 질문을 바꿔서 다시 물어봐도 되나요?

목적에 따라 다릅니다. 가드레일이 거부한 이유가 ‘질문이 모호했다’거나 ‘안전 필터에 걸렸다’이면, 질문을 명확하게 고쳐 쓰는 것은 정상적인 사용입니다. 하지만 거부를 의도적으로 우회하려는 목적이라면 권장하지 않습니다 — 이를 ‘탈옥(jailbreak)‘이라 하며, 서비스 약관 위반이 될 수 있습니다. 출처: OpenAI 이용 정책, Anthropic 이용 정책

Q. 오픈소스 AI 모델은 가드레일이 없나요?

오픈소스 모델 자체는 가드레일이 없는 경우가 많습니다. 모델 파일을 그대로 쓰면 무엇이든 답하는 상태이며, 쓰는 쪽이 가드레일을 직접 달아야 합니다. NVIDIA NeMo Guardrails 같은 도구로 규칙을 정의할 수 있지만, 기업급 서비스만큼의 안전성을 확보하려면 전문 지식과 지속적 관리가 필요합니다. 출처: 허깅페이스 모델 문서

Q. “정렬”과 “파인튜닝”의 차이가 무엇인가요?

파인튜닝은 특정 작업(예: 의료 요약, 법률 번역)에 맞춰 모델을 추가 훈련하는 것입니다. 정렬은 더 넓은 개념으로, 모델이 ‘일반적으로 인간이 원하는 방향 — 도움되고, 정직하고, 무해한 — 으로’ 행동하도록 조정하는 작업입니다. 파인튜닝이 ‘무엇을 잘하게 할까’라면, 정렬은 ‘어떻게 행동하게 할까’에 가깝습니다. 출처: OpenAI 정렬 연구, 2편 프롬프트 · RAG · 파인튜닝

요약

세 단어를 한 문장씩만 기억해도 “AI가 왜 어떤 질문은 하고 어떤 질문은 안 하나”를 다르게 읽힙니다.

가드레일 → 입력과 출력을 규칙으로 검사해 차단하는 필터. “이 질문에는 답할 수 없습니다”라는 거절 메시지가 가드레일의 결과다.
정렬 → 모델의 목표를 인간의 의도에 맞추는 조정 작업. 인간 피드백 기반 강화학습(RLHF)으로 모델이 ‘원하는 답’을 내도록 가르친다.
안전성 → AI가 해를 끼치지 않도록 보장하는 전체 분야. 가드레일과 정렬을 품고, 위험 평가와 규제 정책까지 아우른다.

세 단어를 “이 답을 내보내도 되나(가드레일) → 모델이 인간이 원하는 방향을 향하나(정렬) → 이 모델을 사회에 내놓아도 되나(안전성)“의 점점 넓어지는 원으로 묶어두면, 다음번에 AI가 질문을 거부할 때 “가드레일인가, 정렬의 결과인가, 안전 정책인가”를 나누어 생각하게 됩니다. 이번 주에는 한 가지만 해 보세요 — 평소 쓰는 AI 서비스의 안전 정책 페이지를 한 번 찾아 읽어 보는 것입니다. “무엇을 금지하는가”를 한 줄로 적어 보면, 그 회사가 어디에 선을 긋는지가 보입니다. 다음 글에서는 “AI가 왜 그 답을 냈는지 알 수 있을까 — 투명성 · 설명가능성 · 해석가능성”을 이어서 풀 예정입니다.