“ChatGPT는 RLHF로 정렬했다던데, 좋아요·싫어요 버튼을 누르면 그게 곧 보상 아닌가요?” “보상 모델이 뭔데, 사람 말고 점수를 매기는 기계가 따로 있다고요?” “사람이 직접 점수를 준다면 도대체 몇 명이나 필요한 거예요?” — AI를 다루는 글을 읽다 보면 이 세 단어가 뭉텅이로 등장합니다. 그런데 많은 사람이 “사람이 직접 모델에게 점수를 준다”고 짐작하고, 그래서 “그럼 사람이 얼마나 많아야 가능하냐”는 의문에서 길을 잃습니다. 진짜 구조는 한 단계 더 안에 있습니다 — 사람은 비교만 하고, 그 비교를 흉내 내는 별도의 점수 기계(보상 모델)가 실제 보상을 만들어 냅니다. 이 글은 그 ‘한 단계’를 짚어 세 단어의 자리를 잡아 줍니다.
요약 (TL;DR): RLHF · 보상 모델 · 피드백 핵심 요약 아래에서 위로 쌓이는 세 층입니다. 피드백은 사람이 두 답 중 어느 쪽이 더 나은지 고른 “비교” 형태의 원 자료로, 가장 아래에 놓이는 원석입니다. 보상 모델은 그 비교를 학습해 어떤 답이든 점수 하나로 매기는 별도의 모델이라, 사람이 매기지 않은 새 답에도 점수를 매겨 주는 판관 역할을 합니다. RLHF는 그 점수를 보상 삼아 모델의 행동을 원하는 쪽으로 옮기는 전체 과정으로, 맛보고 고친 결과를 다음 요리에 반영해 레시피를 조금씩 바꾸는 다듬질에 해당합니다.
이 글은 5분 안에 읽고 AI가 사람의 취향을 배우는 세 단계 — RLHF · 보상 모델 · 피드백을 정리합니다. 각 단어가 “사람의 평가가 어떻게 모델의 행동으로 이어지는가”에서 무엇을 맡는지를 ChatGPT · LMArena · Gemini 같은 도구 화면과 일상 사례로 짚고, 흔히 빠지는 오해까지 잡습니다. 도구 사용법이 아니라 개념을 먼저 잡는 글입니다.
왜 “사람의 취향”이 용어 사전에 들어왔나? 우리 블로그의 18편 사슬 · 나무 · ReAct는 ‘AI가 어떻게 생각하게 할까’를 다뤘습니다. 생각의 단계를 밟게 하는 것과 나란히, 최신 모델을 “도움 되고 정중한 답”으로 만든 또 하나의 축은 ‘AI가 사람이 좋아하는 방향으로 어떻게 배울까’입니다. 이 글이 그 축을 다룹니다 — **사람의 비교(피드백) → 비교를 학습한 점수 기계(보상 모델) → 그 점수로 모델을 다듬는 최적화(RLHF)**의 세 단계를 차례로 보는 ‘AI 용어 사전’ 시리즈의 열아홉 번째 글입니다.
RLHF·보상 모델·피드백은 각각 무슨 역할일까?
이 섹션에서 배우는 것: 세 단어를 한 줄씩 먼저 훑고, 각각이 “사람의 평가가 모델로 이어지는 길”에서 어느 자리에 서는지 보기.
| 단어 | 한 줄 정의 | 맡는 역할 | 일상 비유 |
|---|---|---|---|
| RLHF(인간 피드백 기반 강화학습) | 사람의 피드백에서 만든 보상으로 모델을 강화학습하듯 다듬는 전체 과정 | ’다듬질’ — 점수를 보상 삼아 모델의 행동을 원하는 쪽으로 옮기는 일 | ”맛보고 고친 결과를 다음 요리에 반영해, 손님 입맛에 가까워지게 레시피를 조금씩 바꾸는 일” |
| 보상 모델(Reward Model) | 사람의 비교를 학습해, 어떤 답이든 점수 하나로 매기는 별도의 모델 | ’판관’ — 사람이 매기지 않은 새 답에도 점수를 매겨 주는 점수 기계 | ”스승의 호불호를 수백 번 보고 배운 조수가, 이제 스승 없이도 요리에 점수를 매겨 주는 것” |
| 피드백(Feedback) | 사람이 두 답 중 어느 쪽이 더 나은지 고른 ‘비교’ 형태의 원 자료 | ’원석’ — 점수 기계를 가르치는 데 쓰이는 가장 아래의 재료 | ”두 요리를 나란히 맛보고 ‘이쪽이 낫다’고 고르는 한 번의 선택” |
⚠️ 세 단어는 “사람이 좋아하는 대로” 모델을 다듬는 과정이지, “사람이 좋아하니까 무조건 옳다”를 보장하지 않습니다. 보상의 기준이 빠지거나 어긋나면 모델이 점수만 노리는 행동을 배우기도 하며, ‘좋아함’ 자체도 사람마다 달라 하나의 정답이 없습니다. 2026년 8월 기준으로 이 분야는 빠르게 바뀌고 있어, 아래 명칭과 구조는 공식 연구를 기준으로 삼아야 합니다. 출처: InstructGPT 논문(arXiv 2203.02155), Christiano 외 “Deep RL from Human Preferences”(arXiv 1706.03741)
용어 1: RLHF — “사람의 피드백으로 모델을 다듬는 전체 과정”
이 섹션에서 배우는 것: RLHF가 ‘사람의 피드백에서 만든 보상으로 모델을 강화학습하듯 다듬는 전체 과정’이라는 것, 그리고 그 과정이 사실 ‘세 단계 레시피’라는 점.
RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화학습)는 AI 문맥에서 사람의 피드백에서 비롯된 보상으로 모델을 강화학습하듯 다듬어, 사람이 원하는 방향으로 답을 내게 만드는 전체 과정을 가리킵니다. 한 줄로 말하면, **“사람이 고른 ‘더 나은 답’을 보상 삼아, 모델이 앞으로 그런 쪽으로 답하도록 밀어 주는 일”**입니다. 핵심은 RLHF가 단일한 기술이 아니라 세 단계의 레시피라는 점입니다 — 첫째 정답 예시로 모델을 가르치는 단계(지도학습 미세조정), 둘째 사람의 비교로 점수 기계(보상 모델)를 만드는 단계, 셋째 그 점수 기계를 보상으로 삼아 모델을 강화학습으로 다듬는 단계. 7편 지도 · 비지도 · 강화학습에서 다룬 ‘강화학습’이 셋째 단계에 해당하며, 14편 가드레일 · 정렬 · 안전성에서 다룬 ‘정렬’을 실현하는 대표적인 방법이 바로 이 레시피입니다. RLHF라는 이름과 정리는 InstructGPT 연구로 널리 알려졌고, 그 뿌리는 Christiano 외의 2017년 연구와 Stiennon 외의 요약 연구(arXiv 2009.01325)에 닿아 있습니다.
chatgpt.com — ‘도움 되고 정중한 답’으로 다듬어진 챗봇은 RLHF 과정을 거친 대표 사례이다
RLHF가 왜 결정적인지는 “왜 최신 챗봇이 예전 모델보다 정중하고 쓸만한가?”라는 질문에서 보입니다. 글만 잔뜩 배운 원본 모델은 질문의 의도와 상관없이 통계적으로 그럴듯한 다음 단어를 이어 쓸 뿐입니다. RLHF는 모델이 ‘할 수 있는’ 답 중에서 ‘사람이 원하는’ 답을 고르게끔 가르치는 다듬질입니다. 다만 여기서 흔히 빠지는 오해가 하나 있습니다 — “사람이 매 답변마다 점수를 직접 준다”는 짐작입니다. 실제로는 사람이 모든 답에 점수를 매길 수 없으므로, 그 사이에 ‘점수 기계’가 하나 끼어듭니다. 이 점수 기계가 바로 두 번째 단어 ‘보상 모델’이며, 사람이 직접 매기는 비교는 세 번째 단어 ‘피드백’입니다. RLHF는 이 셋을 묶은 가장 바깥의 틀입니다. OpenAI 정렬 연구는 이 다듬질이 왜 어렵고 중요한지를 다루며, Anthropic 연구 페이지는 헌법적 AI(Constitutional AI)라는 또 다른 경로를 함께 보여 줍니다.
5분 안에 직접 확인하기
- chatgpt.com 에서 답변 아래의 ‘좋아요·싫어요’ 버튼을 찾아 보세요. 그 한 번의 클릭이 사실은 ‘피드백’이라는 원 자료의 한 조각이며, 모델을 직접 고치는 스위치가 아니라는 점을 떠올려 봅니다 — 그 사이에 ‘보상 모델’이라는 점수 기계가 있습니다.
- arxiv.org/abs/2203.02155의 초록(abstract)을 읽어 보세요. “지도 미세조정 → 보상 모델 → 강화학습”의 세 단계가 한눈에 잡히며, 이 세 단계가 곧 이 글의 세 단어라는 점이 보입니다.
- “사람이 직접 모든 답에 점수를 준다면 왜 안 될까?”라는 질문에 스스로 답해 보세요. 정답은 “사람이 매길 수 있는 답의 수는 한정되어 있지만, 모델이 만들어 내는 답은 사실상 무한하므로, 사람 없이도 점수를 매길 수 있는 기계가 필요하다”입니다 — 이것이 보상 모델이 존재하는 이유입니다.
잘 안 되는 경우
- 법적·규제: ‘사람이 좋아하는 답’이 법이나 윤리 기준과 어긋나는 경우: RLHF는 ‘사람의 비교’를 보상으로 씁니다. 그런데 특정 집단의 비교에만 맞추면 다른 집단에게는 불공정하거나 편향된 모델이 될 수 있어, 13편 편향 · 공정성 · 표현에서 다룬 ‘편향’ 문제와 곧바로 이어집니다. 규제 층에서는 EU AI Act가 고위험 시스템의 품질과 문서화를 요구합니다.
- 기술적 한계: 보상만 노리는 행동(reward hacking)을 배우는 경우: 점수를 최대로 만드는 길이 ‘사람이 정말 원하는 답’과 항상 같지는 않습니다. 모델이 점수 기계의 약점을 파고들어 겉보기엔 높은 점수를 받으면서 실제로는 쓸모없거나 잘못된 답을 낼 수 있으며, 이를 ‘보상 해킹(reward hacking)‘이라 부릅니다.
용어 2: 보상 모델 — “비교를 학습해 점수를 매기는 판관”
이 섹션에서 배우는 것: 보상 모델이 ‘사람의 비교를 학습해 어떤 답이든 점수 하나로 매기는 별도의 모델’이라는 것, 그래서 사람이 직접 매기지 않는 새 답에도 점수를 줄 수 있다는 점.
보상 모델(Reward Model, RM)은 AI 문맥에서 사람이 남긴 ‘어느 쪽이 더 나은가’ 비교를 학습하여, 주어진 답에 점수 하나(스칼라 보상)를 매기는 별도의 모델을 가리킵니다. 한 줄로 말하면, **“사람의 호불호를 수백·수천 번 보고 배운 뒤, 이제 스승 없이도 새 답에 점수를 매겨 주는 점수 기계”**입니다. 왜 ‘별도의 모델’이 필요할까요. 사람은 두 답을 나란히 두고 ‘이쪽이 낫다’고 고르는 일(비교)에는 비교적 일관되고 빠르지만, “이 답에 10점 만점에 몇 점?”처럼 절대 점수를 매기는 일에는 불안정합니다. 그래서 RLHF는 사람에게 ‘비교’만 시키고, 그 비교를 흉내 내도록 따로 학습시킨 보상 모델에게 ‘점수 매기기’를 맡깁니다. 이렇게 하면 사람이 매기지 않은 새 답에도, 보상 모델이 사람의 취향을 일반화하여 점수를 줄 수 있습니다. 이 원리는 InstructGPT 논문의 두 번째 단계로 정리되어 있으며, 보상 모델링과 정렬 기법을 다루는 Hugging Face 강화학습 강좌에서도 ‘비교 → 점수’의 구조를 핵심으로 짚습니다.
lmarena.ai — 두 모델의 답을 나란히 두고 어느 쪽이 더 나은지 고르는 경험이, 보상 모델을 가르치는 ‘비교’ 원 자료의 뼈대를 일상에서 보여 준다
⚠️ 보상 모델은 사람의 비교를 ‘흉내 내는’ 모델이지, 사람 그 자체가 아닙니다. 학습에 쓰인 비교를 벗어난 영역에서는 점수가 엇나갈 수 있으며, 쓰이는 알고리즘과 학습 방식(예: DPO처럼 보상 모델을 아예 따로 두지 않는 최신 접근)은 2026년 8월 기준으로도 계속 바뀌고 있습니다. 본문은 원리를 다루며, 특정 기법의 가용성을 단정하지 않습니다. 출처: DPO 논문(arXiv 2305.18290), InstructGPT 논문(arXiv 2203.02155)
보상 모델이 왜 결정적인지는 “사람 없이 어떻게 수많은 답에 점수를 매기나?”라는 질문에서 보입니다. 강화학습은 모델이 답을 무수히 만들어 보며 더 나은 쪽으로 나아가는 반복입니다. 이때 매 답마다 사람이 점수를 줄 수는 없습니다 — 사람의 시간과 수는 한정되어 있기 때문입니다. 보상 모델은 ‘사람의 판단’을 기계로 옮겨, 사람이 직접 서지 않아도 점수가 나오게 만드는 다리입니다. 이 점은 LMArena 같은 비교 플랫폼의 일상 경험과 맞닿아 있습니다 — 여러 모델의 답을 나란히 두고 ‘어느 쪽이 더 나은지’ 고르는 그 한 번의 선택이, 사실은 보상 모델을 가르치는 원 자료와 같은 결입니다. 다만 보상 모델의 점수가 8편 정확도 · 정밀도 · 재현율에서 다룬 ‘평가 척도’와 같은 자리에 서는 만큼, 이 점수가 얼마나 사람의 뜻을 정확히 반영하는가가 모델 품질을 가른다는 점도 함께 보입니다.
5분 안에 직접 확인하기
- arena.ai 에서 두 모델의 답을 나란히 보고 어느 쪽이 더 낫다고 골라 보세요. 그 한 번의 선택이 바로 보상 모델을 가르치는 ‘비교’ 한 건이며, 절대 점수가 아니라 ‘어느 쪽이 더 나은가’의 비교라는 점이 보상 모델링의 출발점입니다.
- arxiv.org/abs/2203.02155에서 “reward model”이 등장하는 대목을 찾아 보세요. “사람의 비교로 보상 모델을 학습하고, 그 모델의 점수로 정책을 최적화한다”는 두 단계가 한눈에 들어옵니다.
- “왜 절대 점수 대신 비교를 쓸까?”라는 질문에 스스로 답해 보세요. 정답은 “사람은 ‘둘 중 더 낫다’를 고르는 일관성은 높지만, ‘10점 만점에 몇 점’을 매기는 일관성은 낮기 때문”입니다 — 이 차이가 보상 모델이라는 중간 단계를 만들어 냈습니다.
잘 안 되는 경우
- 법적·보안: 보상 모델의 점수를 조작하려는 공격에 노출되는 경우: 점수 기계라면 점수를 속이려는 시도가 따라옵니다. 모델이나 사용자가 보상 모델의 약점을 노려 높은 점수를 얻어내는 일이 보고되며, 14편 가드레일 · 정렬 · 안전성에서 다룬 ‘탈정렬 공격’과 같은 맥락입니다.
- 기술적 한계: 보상 모델이 사람의 비교를 벗어난 영역에서 엇나가는 경우: 보상 모델은 학습에 쓰인 비교 안에서는 사람을 잘 흉내 내지만, 처음 보는 유형의 답에서는 점수가 흔들립니다. ‘학습 범위 밖’에서 일반화가 무너지는 현상은 12편 과적합 · 일반화 · 교차검증에서 다룬 ‘일반화’ 한계와 같은 결입니다.
용어 3: 피드백 — “두 답 중 더 나은 쪽을 고르는 원석”
이 섹션에서 배우는 것: 피드백이 ‘사람이 두 답 중 어느 쪽이 더 나은지 고른 비교 형태의 원 자료’라는 것, 그래서 보상 모델을 가르치는 가장 아래의 재료라는 점.
피드백(Feedback)은 AI 정렬 문맥에서 사람이 두 개 이상의 답을 나란히 두고 ‘어느 쪽이 더 나은가’를 고른 결과, 즉 비교 형태의 원 자료를 가리킵니다. 한 줄로 말하면, **“모델에게 직접 점수를 주는 것이 아니라, 두 답을 겨루게 하고 더 나은 쪽을 고르는 한 번의 선택”**입니다. 이때 중요한 점은, 챗봇 화면의 ‘좋아요’ 버튼 한 번이 곧 모델을 고치는 스위치가 아니라는 사실입니다. 그 클릭은 ‘피드백’이라는 원 자료의 한 조각이 되어 쌓이고, 쌓인 비교를 모아 보상 모델을 가르치며, 보상 모델이 매긴 점수로 비로소 모델이 다듬어집니다. 즉 사람은 가장 아래층에서 원석을 대고, 그 원석을 깎아 만든 점수 기계가 중간에서 점수를 내고, 그 점수가 가장 위에서 모델을 밉니다. Stiennon 외의 요약 연구와 Christiano 외의 2017년 연구는 이 ‘비교’가 정렬의 출발점임을 분명히 합니다.
gemini.google.com — 답변 아래의 좋아요·싫어요·재생성 같은 조작이 쌓여 ‘피드백’ 원 자료가 된다
피드백이 왜 결정적인지는 “사람이 끼어드는 자리가 딱 한 군데라면 어디일까?”라는 질문에서 보입니다. 답은 ‘비교’입니다. 보상 모델도 모델을 다듬는 최적화도 결국 기계가 하지만, “무엇이 더 나은가”라는 가치의 출발점만큼은 사람이 대줘야 합니다 — 그래야 모델이 ‘사람의 취향’ 쪽으로 배울 수 있습니다. 피드백은 기계의 세계에 사람의 가치가 들어가는 유일한 문입니다. 다만 이 문에도 한계가 있습니다. 서로 다른 사람이 좋아하는 것이 다르면 비교 자체가 엇갈리고, 평가자의 구성이 한쪽으로 치우치면 모델도 그 쪽으로 기웁니다. 최근에는 사람 대신 모델이 헌법(원칙)에 비교해 스스로 고르는 ‘헌법적 AI(Constitutional AI)’ 같은 경로도 있어, Anthropic의 헌법적 AI 연구(arXiv 2212.08073)가 그 한 사례를 보여 줍니다. 이 경로에서는 ‘사람의 피드백’ 일부가 ‘모델의 피드백’으로 바뀌지만, ‘비교’라는 뼈대 자체는 그대로입니다.
5분 안에 직접 확인하기
- 두 개의 답을 부탁해 보세요 — “같은 질문에 서로 다른 두 답을 써 줘”라고 물으면, 모델이 두 답을 나란히 내놓습니다. 그 뒤 “둘 중 어느 쪽이 더 나은지 따져 줘”로 이어가면, 당신이 지금 ‘피드백’ 한 건을 직접 만드는 셈입니다.
- chatgpt.com 이나 gemini.google.com 에서 ‘좋아요·싫어요’ 버튼을 누른 뒤, 그 클릭이 모델을 즉시 고치는 것이 아니라 ‘피드백’이라는 원 자료로 쌓인다는 점을 떠올려 보세요.
- “좋아요 버튼을 누르면 그 자리에서 모델이 좋아지나?”라는 질문에 스스로 답해 보세요. 정답은 “아니다”입니다 — 그 한 번의 클릭은 피드백 원 자료의 한 조각이고, 그것이 모델에 반영되려면 보상 모델의 재학습과 다듬질 단계를 거쳐야 합니다.
잘 안 되는 경우
- 법적·규제: 평가자의 구성이 한쪽으로 치우쳐 비교 자체가 편향되는 경우: ‘더 나은 답’을 고르는 사람이 특정 언어·문화·세대에 쏠리면, 그 비교로 배운 모델도 그 쪽으로 기웁니다. 13편 편향 · 공정성 · 표현에서 다룬 ‘표현의 편향’이 비교 단계에서부터 스며드는 지점입니다.
- 기술적 한계: 비교가 모순되거나 일관되지 않은 경우: 같은 답을 두고 어떤 사람은 좋다고, 다른 사람은 나쁘다고 고르면, 보상 모델은 엇갈린 신호를 학습하게 됩니다. ‘좋아함’ 자체가 사람마다 달라 하나의 정답이 없다는 근본 한계가 기술이 아니라 가치의 영역에서 모델을 흔듭니다.
세 단계가 이어지는 한 흐름
이 섹션에서 배우는 것: 세 단어가 따로 놀지 않고 ‘사람의 비교(피드백) → 비교를 학습한 점수 기계(보상 모델) → 점수로 모델을 다듬는 최적화(RLHF)‘의 한 줄로 이어진다는 것.
이 세 단어는 “사람의 평가가 어떻게 모델의 행동으로 이어지는가”라는 하나의 질문을, 원자재에서 최적화로 올라가는 세 단계로 풉니다. 가장 아래가 피드백으로 ‘사람이 두 답 중 더 나은 쪽을 고르는 원석’, 그 위가 보상 모델로 ‘그 원석을 깎아 만든 점수 기계’, 가장 위가 RLHF로 ‘그 점수를 보상 삼아 모델을 다듬는 전체 과정’을 다룹니다. “원석, 판관, 다듬질”의 한 줄로 묶으면, 왜 AI를 만드는 사람이 “사람에게 비교를 받고(피드백), 보상 모델을 학습하고, 강화학습으로 다듬는다(RLHF)“를 연달아 말하는지가 자리를 잡습니다.
| 단계 | 이번 글의 단어 | 묻는 질문 | 맡는 역할 |
|---|---|---|---|
| 원석 | 피드백 | ”두 답 중 어느 쪽이 더 나은가?” | 사람의 가치가 들어가는 유일한 문 |
| 판관 | 보상 모델 | ”사람 없이 이 새 답에 점수를 어떻게 매기나?” | 비교를 일반화한 점수 기계 |
| 다듬질 | RLHF | ”그 점수로 모델을 어떻게 원하는 쪽으로 옮기나?” | 점수를 보상 삼은 강화학습 최적화 |
이 표를 7편 지도 · 비지도 · 강화학습과 겹쳐 보면 각도가 이어집니다. 7편이 ‘강화학습’이라는 넓은 학습법을 다뤘다면, 이번 편은 그 강화학습이 정렬에 쓰일 때 ‘보상을 어디서 가져오는가’를 파고듭니다 — 그 보상의 출처가 바로 보상 모델이고, 그 보상 모델을 가르치는 원 자료가 피드백입니다. 또한 14편 가드레일 · 정렬 · 안전성과도 짝을 이룹니다 — 14편이 ‘정렬’이라는 목표를 세웠다면, 이번 편은 그 목표를 기계로 어떻게 옮기는지의 레시피를 엽니다. 그리고 2편 프롬프트 · RAG · 파인튜닝에서 다룬 ‘파인튜닝’은 이 레시피의 첫 단계(정답 예시로 가르치는 미세조정)와 맞닿아 있어, “파인튜닝 → 보상 모델 → 강화학습”의 큰 흐름이 한눈에 잡힙니다.
자주 묻는 질문 3가지
Q. 좋아요 버튼을 누르면 그 자리에서 모델이 좋아지나요?
아닙니다. 그 클릭은 ‘피드백’이라는 비교 원 자료의 한 조각으로 쌓일 뿐, 모델을 즉시 고치지 않습니다. 쌓인 비교가 보상 모델을 학습하고, 보상 모델의 점수로 다시 모델을 다듬는(RLHF) 단계를 거쳐야 비로소 반영됩니다. 출처: InstructGPT 논문(arXiv 2203.02155)
Q. 보상 모델은 왜 따로 필요한가요? 사람이 직접 점수를 주면 안 되나요?
사람이 매 답마다 점수를 주는 것은 현실적으로 불가능합니다 — 모델이 만들어 내는 답의 수는 사실상 무한하지만, 사람이 평가할 수 있는 수는 한정되어 있기 때문입니다. 그래서 사람은 ‘비교’만 하고, 그 비교를 일반화해 점수를 매기는 별도의 모델(보상 모델)에게 ‘점수 매기기’를 맡깁니다. 사람은 비교에 일관되지만 절대 점수에는 불안정하다는 점도 같은 이유입니다. 출처: Christiano 외 “Deep RL from Human Preferences”(arXiv 1706.03741)
Q. RLHF를 거쳤다고 해서 답이 항상 옳나요?
아닙니다. RLHF는 ‘사람이 비교해 더 나다고 한 쪽’으로 모델을 다듬는 과정이지, 사실 확인이나 정확성을 보장하는 장치가 아닙니다. 보상 해킹처럼 점수만 노리는 행동이 끼어들 수도 있고, ‘좋아함’이 사람마다 달라 비교 자체가 엇갈릴 수도 있습니다. 따라서 RLHF를 거친 모델의 답도 여전히 출처 확인이 필요합니다. 출처: InstructGPT 논문(arXiv 2203.02155), Anthropic 연구
요약
세 단어를 한 문장씩만 기억해도 “사람의 평가가 어떻게 모델의 행동으로 이어지는가”를 묻는 질문의 방향이 잡힙니다.
- RLHF → 사람의 피드백에서 만든 보상으로 모델을 강화학습하듯 다듬는 전체 과정. 세 단계 레시피(미세조정 → 보상 모델 → 강화학습)의 가장 바깥 틀.
- 보상 모델 → 사람의 비교를 학습해 어떤 답이든 점수 하나로 매기는 별도의 모델. 사람이 직접 서지 않아도 점수가 나오게 만드는 다리.
- 피드백 → 사람이 두 답 중 더 나은 쪽을 고른 비교 형태의 원 자료. 기계의 세계에 사람의 가치가 들어가는 유일한 문.
세 단어를 “원석(피드백) → 판관(보상 모델) → 다듬질(RLHF)“의 아래에서 위로 올라가는 한 줄로 묶어두면, 다음번에 챗봇 아래의 ‘좋아요’ 버튼을 누를 때 “이 클릭은 피드백 원 자료의 한 조각이고, 여기서 보상 모델을 거쳐 모델을 다듬는 RLHF까지 이어진다”는 길이 보입니다. 이번 주에는 한 가지만 해 보세요 — 같은 질문에 두 가지 답을 부탁하고, 스스로 어느 쪽이 더 나은지 골라 보는 것입니다. 그 한 번의 비교가 바로 RLHF라는 큰 기계를 돌리는 가장 아래의 원석입니다. 다음 글에서는 “AI가 스스로의 글을 평가하며 고치는 기술 — 자기검증 · 비판 · 반영”을 이어서 풀 예정입니다.