“프롬프트엔지니어링을 하면 AI가 똑똑해진다던데, 프롬프트는 그냥 질문 아닌가요?” “RAG를 쓰면 환각을 막을 수 있다던데, RAG가 뭔가요?” “파인튜닝을 하면 우리 회사 전용 AI를 만들 수 있다는데, 우리도 해야 하나요?” — 유튜브 강의, AI 뉴스, 도구 도움말에서 이 세 단어를 계속 마주칩니다. 화면은 한국어인데 정작 이 용어들을 우리말로 풀어주는 곳은 거의 없어서 대충 넘기는 분이 많습니다. 문제는 이 세 단어가 “AI를 더 잘 쓰는 방법”의 선택지를 통째로 가리키고 있다는 겁니다. 프롬프트엔지니어링을 모르면 같은 도구도 반의 성능만 쓰고, RAG를 모르면 환각을 줄일 가장 실용적인 수단을 놓치며, 파인튜닝을 모르면 “우리도 해야 하나?”에 답을 못 합니다.
이 글은 5분 안에 읽고 AI를 ‘내 입맛에 맞추는’ 세 가지 접근 — 프롬프트엔지니어링, RAG, 파인튜닝을 정리합니다. 각 용어마다 “그래서 내 화면에서 어떻게 쓰이는가”를 ChatGPT·NotebookLM·Cursor에서 직접 확인하는 방법으로 풀고, 초보가 흔히 빠지는 오해와 한계도 짚습니다. 1편 토큰·컨텍스트 윈도우·환각이 “AI가 글을 어떻게 읽고, 어디서 틀리는가”를 다뤘다면, 이번 2편은 **“그 한계 안에서 AI를 어떻게 더 정확하게, 더 내 맛대로 쓰는가”**를 다룹니다.
왜 1편과 세트로 읽어야 하는가? 1편에서 환각(hallucination)이 “그럴듯하지만 틀린 답을 지어내는 현상”이라는 걸 배웠습니다. 이번 글의 RAG는 그 환각을 줄이는 가장 실용적인 수단이고, 프롬프트엔지니어링은 환각을 덜 일으키는 질문을 설계하는 기술입니다. 1편이 ‘문제 진단’이라면 2편은 ‘해결 도구’입니다.
3가지 용어 한눈에 보기
이 섹션에서 배우는 것: 세 단어를 한 줄씩 먼저 훑고, 각각이 AI를 어떻게 ‘바꾸는’ 접근인지 보기.
| 용어 | 한 줄 정의 | 내 화면에서는 | 안 쓰면 생기는 일 |
|---|---|---|---|
| 프롬프트엔지니어링 (prompt engineering) | AI에게 입력(질문)을 더 정확하게 설계하는 기술 | 같은 ChatGPT인데 답 품질이 확 다름 | 좋은 도구를 쓰고도 아까운 답만 받음 |
| RAG (Retrieval-Augmented Generation) | AI가 답하기 전에 내가 올린 문서를 먼저 찾아보게 하는 방식 | NotebookLM에 PDF 올리고 질문하기 | 회사 자료를 묻는데 일반 상식으로 대답 |
| 파인튜닝 (fine-tuning) | 미리 학습된 모델을 특정 데이터로 한 번 더 훈련시키는 과정 | API 화면에서 버튼 몇 개로 진행 | 특정 업무 반복이 잦은데 매번 똑같은 지시 |
⚠️ 이 세 용어의 적용 범위와 비용은 플랫폼·모델에 따라 다르고 자주 바뀝니다. 이 글은 2026년 8월 기준의 개념 설명이며, 정확한 요금·기능은 각 사 공식 사이트에서 확인하세요. 출처: OpenAI 프롬프트 엔지니어링 가이드, Anthropic 프롬프트 엔지니어링 문서, OpenAI 파인튜닝 가이드
용어 1: 프롬프트엔지니어링(prompt engineering) — “똑같은 AI, 다른 답”
이 섹션에서 배우는 것: 프롬프트엔지니어링이 왜 ‘마법’이 아니라 ‘질문 설계’인지, 그리고 같은 모델에서 답이 어떻게 달라지는지.
프롬프트엔지니어링은 AI에게 보내는 입력 — 프롬프트(prompt)를 더 정확하게 설계하는 기술입니다. “프롬프트”는 어려운 말이 아니라, 그냥 우리가 ChatGPT 입력창에 적는 질문이나 지시를 가리킵니다. 핵심은 같은 모델, 같은 시간, 같은 도구인데도 질문을 어떻게 쓰느냐에 따라 답의 품질이 크게 달라진다는 점입니다. “이메일 써줘”라고 하면 뻔한 이메일이 나오지만, “10년 지기 친구에게 주말 약속을 미루는 이메일을 3문장으로, 정중하되 친근하게 써줘”라고 하면 훨씬 쓸 만한 결과가 나옵니다. 이 차이를 체계적으로 만드는 것이 프롬프트엔지니어링입니다.
chatgpt.com 홈페이지
흔히 “프롬프트엔지니어링 = 좋은 프롬프트 100개 외우기”로 오해하지만, 실제로는 몇 가지 원칙만 알면 됩니다. 첫째, 역할을 준다(“너는 20년 차 카피라이터야”). 둘째, 형식을 지정한다(“3개의 불릿 포인트로”). 셋째, 제약을 건다(“전문 용어는 빼고”). 넷째, 예시를 하나 보여준다(“이런 느낌으로: …”). 이 네 가지를 습관처럼 붙이면, 복잡한 프롬프트 목록을 외울 필요가 없습니다. OpenAI와 Anthropic 모두 공식 가이드에서 이 패턴들을 체계적으로 정리하고 있으니, 더 깊이 알고 싶다면 아래 링크를 참고하세요.
5분 안에 직접 확인하기
- chatgpt.com 에 접속해 “이메일 써줘”라고만 입력합니다. 나온 답을 기억해 둡니다.
- 같은 대화에서 “10년 지기 친구에게 주말 약속을 미루는 이메일을 3문장으로, 정중하되 친근하게 써줘”라고 다시 물어봅니다. 답이 어떻게 달라지는지 비교합니다.
- 역할을 하나 더 붙여봅니다 — “너는 20년차 비즈니스 글쓰기 강사야. 위 이메일에서 가장 중요한 문장 하나를 짚고, 왜 그 문장이 핵심인지 설명해 줘.” 설명의 정밀도가 올라가는지 확인합니다.
- OpenAI 프롬프트 엔지니어링 가이드에서 ‘Write clear instructions’ 섹션을 읽고, 그 팁 하나를 다음 질문에 적용해 봅니다.
- Anthropic 프롬프트 엔지니어링 개요의 ‘Be clear, direct, and detailed’ 원칙을 Claude에 적용해 같은 질문을 다시 해 봅니다. 어느 쪽 원칙이 내 스타일에 더 잘 맞는지 체감합니다.
잘 안 되는 경우
- 민감정보를 프롬프트에 넣는 경우: AI 서비스의 이용약관에 따라 입력 데이터가 모델 개선에 쓰일 수 있습니다. 고객 정보, 계약 금액, 의료 기록 등은 프롬프트에 적기 전에 해당 서비스의 데이터 정책을 반드시 확인하고, 필요하면 가명 처리(이름·번호를 가짜로 바꾸기) 후 입력하세요.
- 프롬프트를 길게 쓴다고 무조건 좋아지는 건 아닌 경우: 핵심 명확성이 길이보다 중요합니다. 500자짜리 프롬프트가 50자 프롬프트보다 나쁠 수 있습니다. “정확히 무엇을, 어떤 형식으로, 누구에게” 세 가지만 명확히 적으면 대부분 충분합니다.
프롬프트엔지니어링으로 답의 품질을 높였다면, 다음 단계는 AI가 내 자료를 근거로 답하게 하는 것입니다. 그게 바로 RAG입니다. 실전 프롬프트 작성법이 더 궁금하다면 초보자 글쓰기 프롬프트 3단계에서 단계별 예시를 볼 수 있습니다.
용어 2: RAG(Retrieval-Augmented Generation) — “AI가 내 문서를 먼저 보고 답한다”
이 섹션에서 배우는 것: RAG가 왜 ‘검색+생성’의 결합인지, 그리고 이게 환각을 어떻게 줄이는지.
RAG는 Retrieval-Augmented Generation의 약자로, 한국어로는 ‘검색 증강 생성’이라고 옮깁니다. 이름이 어려워 보이지만, 하는 일은 단순합니다 — AI가 답을 만들기 전에 **내가 올려놓은 문서를 먼저 찾아보고(retrieval), 그 문서를 근거로 답을 생성(generation)**합니다. 일반적인 ChatGPT는 자신이 학습한 방대한 데이터에서 답을 찾지만, RAG는 “이 문서 안에서만 답해”라는 제약을 줍니다. 그래서 회사 내부 규정, 계약서, 연구 논문처럼 AI가 원래 모르는 자료에 대한 질문에 정확하게 답할 수 있습니다.
notebooklm.google.com 홈페이지
가장 쉽게 RAG를 체험할 수 있는 도구가 구글의 NotebookLM입니다. 여기에 PDF나 텍스트 문서를 올리면, NotebookLM은 그 문서를 읽고 문서 안에 있는 내용만 근거로 질문에 답합니다. “이 보고서의 3장 핵심 결론이 뭐야?”라고 물으면, 일반적인 상식이 아니라 올린 문서의 내용을 끌어와 답합니다. ChatGPT나 Claude에서 파일을 업로드하고 질문하는 것도 같은 원리입니다. 1편에서 배운 환각(hallucination)을 줄이는 가장 실용적인 수단이 바로 이 RAG입니다 — AI가 지어내는 게 아니라, 올려놓은 문서에서 인용하기 때문입니다.
⚠️ RAG가 환각을 ‘완전히 없애는’ 것은 아닙니다. 문서 안에 없는 내용을 물어보면 여전히 지어낼 수 있고, 문서가 모호하면 잘못 해석할 수 있습니다. RAG는 환각의 ‘빈도’를 크게 줄이지만, 중요한 사실은 여전히 원문과 대조하는 습관이 필요합니다.
5분 안에 직접 확인하기
- notebooklm.google.com 에 접속해 새 노트를 만들고, 손에 있는 PDF 하나를 업로드합니다. 보고서, 논문, 계약서 무엇이든 좋습니다.
- “이 문서의 핵심 주제를 3줄로 요약해 줘”라고 물어봅니다. 답이 문서 내용에 기반하는지 확인합니다.
- “이 문서의 3페이지에 나오는 숫자를 인용해 줘”처럼 문서 안의 구체적 내용을 물어봅니다. 정확히 찾아오는지, 아니면 비슷한 숫자를 지어내는지 관찰합니다.
- “이 문서에 없는 내용인데, 세계 GDP는 얼마야?”처럼 문서 밖의 질문을 던져봅니다. NotebookLM이 ‘문서에 없다’고 잡아내는지 확인합니다.
- chatgpt.com 에서 같은 PDF를 업로드하고 같은 질문을 해 봅니다. 두 도구의 답이 어떻게 다른지, 어느 쪽이 더 문서에 충실한지 비교합니다.
잘 안 되는 경우
- 기밀문서를 클라우드 AI에 통째로 올리는 경우: RAG를 쓰려면 문서를 AI 서비스에 업로드해야 하는데, 이는 곧 해당 서비스의 서버에 데이터가 올라간다는 뜻입니다. 고객 데이터, 미공개 계약서, 의료 기록 등은 각 서비스의 데이터 처리 정책과 회사 보안 규정을 먼저 확인하고, 민감한 부분은 마스킹(숨김 처리)한 뒤 올리세요.
- 문서를 올렸으니 100% 정확하다고 믿는 경우: RAG는 문서를 ‘근거’로 삼을 뿐, 문서를 완벽하게 이해하는 것은 아닙니다. 긴 문서의 중간 세부내용을 놓치거나, 모호한 표현을 잘못 해석할 수 있습니다. 숫자·인용문·통계처럼 틀리면 안 되는 부분은 반드시 원문 페이지를 확인하세요.
RAG로 “문서 기반 답변”을 얻었다면, 그보다 더 근본적인 — 모델 자체를 바꾸는 — 접근이 파인튜닝입니다. 문서 요약에 특화된 도구가 궁금하다면 PDF 요약 AI 도구 가이드에서 RAG 기반 도구들을 비교해 볼 수 있습니다.
용어 3: 파인튜닝(fine-tuning) — “모델 자체를 내 데이터로 다시 가르친다”
이 섹션에서 배우는 것: 파인튜닝이 프롬프트엔지니어링·RAG와 어떻게 다른지, 그리고 초보자가 당장 안 해도 되는 이유.
파인튜닝은 이미 학습된 AI 모델을 특정 데이터로 한 번 더 훈련시켜 특정 작업에 더 능숙하게 만드는 과정입니다. 앞의 두 접근과 결정적으로 다른 점이 있습니다. 프롬프트엔지니어링은 입력을 바꾸고, RAG는 참고 자료를 추가하지만, 파인튜닝은 모델 자체의 가중치를 조정합니다. 쉽게 비유하면: 프롬프트엔지니어링은 “질문을 더 정확하게 하는 것”, RAG는 “오픈북 시험으로 만드는 것”, 파인튜닝은 “학생 자체를 특정 과목 과외를 시켜 더 잘하게 만드는 것”입니다.
cursor.com 홈페이지
소비자가 직접 체험하기는 가장 어려운 개념입니다. ChatGPT 채팅창이나 Claude 화면에는 “파인튜닝” 버튼이 없습니다. 이는 API(개발자용 인터페이스) 단위의 기능이기 때문입니다. OpenAI는 공식 파인튜닝 가이드에서, 수백~수천 건의 질문·답변 예시 데이터를 제공하면 모델을 특정 작업에 맞게 조정해 준다고 안내합니다. 다만 대부분의 개인 사용자와 소규모 팀에게는 프롬프트엔지니어링과 RAG만으로 충분합니다. 반복되는 특정 작업(예: 회사 전용 고객 응대 톤, 특정 법률 분야 요약)이 있고, 그 작업에 대한 양질의 데이터가 수백 건 이상 쌓여 있을 때 비로소 파인튜닝을 고려하는 단계입니다.
Cursor 같은 코딩 도구는 .cursorrules 파일로 프로젝트 규칙을 정해 AI의 행동을 조정합니다. 이는 엄밀히 말해 파인튜닝이 아니라 “강력한 커스텀 프롬프트”지만, “AI를 내 프로젝트에 맞춘다”는 목적에서 파인튜닝의 가벼운 버전이라고 생각할 수 있습니다. 코딩 도구에서 AI 맞춤화가 궁금하다면 AI 코딩 도구 비교 (2026)를 참고하세요.
5분 안에 직접 확인하기
- OpenAI 파인튜닝 가이드의 첫 화면을 읽어 봅니다. “어떤 데이터를 얼마나 준비해야 하는가”에 대한 안내가 나오는지 확인합니다.
- “내가 매주 반복하는 AI 작업이 하나라도 있는가?”를 스스로 물어봅니다. 같은 형식의 이메일 답장, 같은 류의 제품 설명, 같은 패턴의 요약 작업 등이 해당합니다.
- 그 반복 작업이 있다면, 지금은 프롬프트엔지니어링이나 RAG로 해결할 수 있는지 먼저 점검합니다. “매번 똑같은 지시를 반복해서 치고 있다”면, 그 지시를 프롬프트 템플릿으로 만드는 것만으로도 크게 개선됩니다.
- NotebookLM에 회사 매뉴얼이나 업무 가이드를 올려두고 RAG로 활용하는 방식을 먼저 시도해 봅니다. 파인튜닝 전에 시도할 수 있는 가장 가성비 좋은 맞춤화입니다.
- 위 단계를 전부 해봤는데도 “여전히 모델이 내 업무 톤을 못 잡는다”면, 그때 OpenAI 요금제에서 파인튜닝 비용을 확인하고 도입을 검토합니다.
잘 안 되는 경우
- 파인튜닝 데이터의 저작권·개인정보 문제: 파인튜닝에 쓰는 데이터는 모델에 ‘스며들기’ 때문에, 원본을 지우더라도 완전히 분리하기 어렵습니다. 타인의 저작물, 고객의 개인정보, 회사 기밀을 파인튜닝 데이터에 포함하려면 법률 검토가 선행되어야 합니다. 사용 가능한 데이터인지 확인하기 전에는 절대 진행하지 마세요.
- 데이터가 부족한 상태에서 파인튜닝을 시도하는 경우: OpenAI 가이드에서도 권장하는 최소 데이터량이 있습니다. 수십 건의 데이터로 파인튜닝을 하면 오히려 성능이 떨어질 수 있습니다(overfitting). 데이터가 수백 건 이상 쌓일 때까지는 프롬프트엔지니어링과 RAG로 버티는 것이 현실적입니다.
파인튜닝은 AI 맞춤화의 “최후의 수단”입니다. 비용과 기술적 복잡도가 높기 때문에, 프롬프트엔지니어링과 RAG를 먼저 극한까지 써보는 것이 순서입니다.
세 접근이 어떻게 연결되는가
이 섹션에서 배우는 것: 프롬프트엔지니어링·RAG·파인튜닝이 경쟁이 아니라 ‘비용-효과 스펙트럼’ 위의 세 단계라는 걸 보기.
세 가지를 “어느 걸 써야 하나?”로 묻기보다, 비용이 낮은 쪽에서 높은 쪽으로 단계적으로 접근하는 하나의 사다리로 이해하는 것이 맞습니다. 프롬프트엔지니어링은 무료이고 당장 할 수 있습니다. RAG는 문서만 있으면 되지만, 클라우드에 올리는 비용(보안·요금)이 생깁니다. 파인튜닝은 데이터·시간·비용이 가장 많이 듭니다.
| 단계 | 무엇을 바꾸는가 | 필요한 것 | 비용 | 초보자 추천 |
|---|---|---|---|---|
| 프롬프트엔지니어링 | 입력(질문) | 질문 설계 실습 | 무료 (시간만) | 지금 당장 |
| RAG | 참고 자료 | 문서 + 업로드할 도구 | 무료 한도 내 가능 | 문서 작업이 많으면 |
| 파인튜닝 | 모델 자체 | 수백 건 이상의 양질 데이터 | API 요금 발생 | 데이터가 쌓인 뒤 |
이 사다리의 핵심은 아래에서 위로 올라갈수록 ‘근본적’이지만, 대부분의 문제는 아래 단계에서 해결된다는 점입니다. OpenAI 공식 가이드에서도 “파인튜닝을 시작하기 전에 프롬프트엔지니어링과 RAG를 먼저 극한까지 시도하라”고 안내합니다. 실제로 많은 경우, 프롬프트를 다듬고 문서를 올리는 것만으로 충분한 효과를 봅니다. 더 깊은 AI 활용 사례가 궁금하다면 AI 업무 자동화 3배 가이드에서 실전 자동화 흐름을 볼 수 있습니다.
자주 묻는 질문 3가지
Q. 프롬프트엔지니어링을 잘하면 RAG나 파인튜닝은 안 해도 되나요?
부분적으로 맞습니다. 많은 경우 프롬프트엔지니어링만으로 큰 개선을 봅니다. 다만 AI가 원래 모르는 자료(회사 내부 문서, 최신 논문 등)를 다뤄야 할 때는 RAG가 필수입니다. 프롬프트엔지니어링으로 “이렇게 답해”라고 지시할 수는 있어도, “이 문서를 읽고 답해”라고 지시하는 건 RAG가 해야 할 일입니다. 정확한 요금·기능은 OpenAI 요금제·Anthropic 요금제에서 확인하세요.
Q. RAG와 파인튜닝, 둘 다 해야 하나요? 아니면 하나만?
보통 RAG를 먼저 합니다. RAG는 문서를 올리기만 하면 되고, 새 문서가 생기면 그냥 추가 업로드하면 됩니다. 반면 파인튜닝은 데이터를 준비하고 훈련 과정을 거쳐야 하므로 시간과 비용이 듭니다. “자주 바뀌는 자료”를 다룬다면 RAG, “고정된 톤·스타일”을 원한다면 파인튜닝이라는 대략적 기준이 있습니다. 자세한 비교는 AI 자료 조사 도구 가이드에서 확인할 수 있습니다.
Q. 초보자가 가장 먼저 시작해야 할 건 뭔가요?
프롬프트엔지니어링입니다. 비용이 들지 않고, 지금 쓰는 ChatGPT·Claude·Gemini에서 바로 할 수 있습니다. 오늘 질문 하나에 “역할·형식·제약·예시” 네 가지를 붙여 보세요. 그것만으로도 답의 품질이 달라지는 걸 체감할 수 있습니다. AI 챗봇 비교 (2026)에서 각 도구의 특징을 비교해 보고, 자신에게 맞는 도구를 고른 뒤 시작하는 것도 좋습니다.
요약
세 단어를 한 문장씩만 기억해도 AI 활용의 선택지가 보입니다.
- 프롬프트엔지니어링 → 입력(질문)을 더 정확하게 설계하는 기술. 무료이고 지금 당장 할 수 있다.
- RAG → AI가 내 문서를 먼저 보고 답하게 하는 방식. 환각을 줄이는 가장 실용적인 수단.
- 파인튜닝 → 모델 자체를 내 데이터로 다시 훈련시키는 과정. 비용·데이터가 필요하므로 마지막에 고려.
AI를 “더 잘 쓴다”는 건 비싼 도구로 바꾸는 게 아니라, 같은 도구에서 어느 단계까지 활용하느냐의 문제입니다. 이번 주에는 한 가지만 해 보세요 — 자주 묻는 질문에 “역할·형식·제약·예시”를 붙여 프롬프트 템플릿 하나를 만드는 것. 다음 글에서는 “AI 에이전트·멀티모달·API, 이름만 어려운 세 단어”를 이어서 풀 예정입니다.