파인튜닝과 RAG, 무엇을 골라야 할까?
“우리 자료로 AI를 학습시키고 싶어요.” AI 도입 상담에서 자주 듣는 말입니다. 그런데 여기서 말하는 ‘학습’에는 성격이 전혀 다른 두 방법이 섞여 있습니다. 하나는 AI의 습관을 바꾸고, 다른 하나는 AI가 보는 자료를 바꿉니다.
연습으로 몸에 익힌 것, 보면대 위의 악보
연주자를 떠올려 보겠습니다. 한 연주자가 바로크 음악의 장식음과 호흡을 오랜 연습으로 몸에 익혔습니다. 이제 어떤 바로크 곡을 받아도 그 시대의 어법으로 자연스럽게 연주합니다. 이것이 파인튜닝입니다. 연습으로 연주하는 방식 자체가 바뀐 것이죠.
그런데 오늘 저녁 공연의 곡 순서나 바뀐 악보의 마디까지 연습으로 외워 두려 하면 곤란해집니다. 순서가 바뀔 때마다 다시 연습해야 하고, 기억이 흐려진 부분은 그럴듯하게 즉흥으로 메우게 되니까요. 그래서 연주자는 그날의 악보를 보면대 위에 펼쳐 두고 봅니다. 이것이 RAG입니다.
파인튜닝Fine-tuning
이미 만들어진 AI 모델에 질문과 모범 답으로 이루어진 예시를 추가로 학습시켜, 모델의 말투·형식·작업 방식을 바꾸는 방법입니다. 바뀐 습관은 모델 안에 남습니다.
RAG검색 증강 생성
모델은 그대로 두고, 질문이 들어올 때마다 우리 자료에서 관련 내용을 찾아 근거로 함께 건네는 방법입니다. 자세한 원리는 지난 글에 정리했습니다.
한 줄 정리: 파인튜닝은 AI가 어떻게 답할지를, RAG는 AI가 무엇을 근거로 답할지를 바꿉니다.
각각 어떻게 동작할까
파인튜닝에 필요한 것은 문서 더미가 아니라 “이런 질문에는 이렇게 답한다”는 예시입니다. 예시의 질이 곧 결과의 질이라, 좋은 예시를 충분히 모으고 다듬는 데 대부분의 시간이 듭니다. 반면 RAG에 필요한 것은 잘 정리된 최신 자료입니다. 규정집, FAQ, 공연 안내문, 아카이브처럼 이미 가지고 있는 문서가 그대로 재료가 됩니다.
한눈에 비교
| 기준 | 파인튜닝 | RAG |
|---|---|---|
| 바꾸는 것 | AI의 말투·형식·작업 습관 | AI가 참고하는 자료 |
| 준비물 | 질문과 모범 답 예시 묶음 | 정리된 문서와 자료 |
| 내용이 바뀌면 | 예시를 고쳐 다시 학습 | 문서만 바꾸면 바로 반영 |
| 출처 표시 | 어렵다 | 어떤 문서에서 찾았는지 보여 줄 수 있다 |
| 틀렸을 때 원인 찾기 | 모델 안을 들여다보기 어렵다 | 찾아온 자료를 확인해 고칠 수 있다 |
| 잘 맞는 일 | 고유한 문체, 정해진 형식의 분류·추출을 대량으로 | 규정·안내·아카이브를 근거로 한 답변 |
표에서 보듯 둘은 경쟁 관계라기보다 맡는 일이 다른 도구입니다. 그래서 “어느 쪽이 더 좋은가”보다 “지금 풀려는 문제가 지식의 문제인가, 습관의 문제인가”를 먼저 묻는 것이 좋습니다.
고르는 순서: 프롬프트 → RAG → 파인튜닝
사실 파인튜닝과 RAG를 고르기 전에 확인할 단계가 하나 더 있습니다. 프롬프트, 즉 AI에게 주는 지시문입니다. 원하는 말투와 형식을 구체적으로 적고 좋은 예시 몇 개를 함께 주는 것만으로 해결되는 경우가 생각보다 많습니다. 가장 빠르고, 고치기도 가장 쉽습니다.
- 프롬프트로 시작합니다. 역할, 말투, 답변 형식, 하지 말아야 할 것을 적고 모범 답 예시를 몇 개 붙여 봅니다. 여기서 원하는 결과가 나오면 그걸로 충분합니다.
- 답이 우리 자료에 달려 있다면 RAG를 더합니다. 우리 단체의 규정, 일정, 작품 정보처럼 AI가 원래 알 수 없거나 자주 바뀌는 내용이라면 자료를 연결합니다.
- 그래도 남는 습관의 문제만 파인튜닝으로 풉니다. 지시문과 예시로는 말투나 형식이 안정적으로 나오지 않을 때, 같은 작업을 대량으로 반복해 가벼운 모델로 바꿔 비용을 줄이고 싶을 때 검토합니다.
왜 이 순서일까: 뒤로 갈수록 준비할 것이 많아지고, 한 번 정한 것을 바꾸는 비용도 커집니다. 앞 단계에서 효과를 확인하고 넘어가면 꼭 필요한 곳에만 비용을 쓸 수 있습니다. 비용 이야기는 AI 자동화 비용 글에서 더 자세히 다뤘습니다.
상황별로 골라 보기
공연 환불 규정과 일정 문의에 답하고 싶다
답이 우리 단체의 문서에 달려 있고, 시즌마다 내용이 바뀝니다. RAG가 맞습니다. 규정이 바뀌면 문서만 고치면 되고, 답과 함께 근거 문서를 보여 줄 수 있습니다.
보도자료를 우리 단체의 문체로 쓰고 싶다
지식보다 습관의 문제입니다. 먼저 프롬프트에 문체의 특징과 지난 보도자료 몇 편을 예시로 넣어 봅니다. 그래도 결과가 들쭉날쭉하고, 같은 형식의 글을 꾸준히 많이 쓴다면 그때 파인튜닝을 검토합니다.
들어오는 문의를 유형별로 자동 분류하고 싶다
대부분 프롬프트만으로 시작할 수 있습니다. 분류해야 할 양이 아주 많아 사용료가 부담된다면, 지금까지 분류한 기록을 예시로 삼아 작은 모델을 파인튜닝해 비용을 줄이는 방법이 있습니다.
작품 아카이브를 바탕으로 우리 말투로 안내하고 싶다
지식과 습관이 모두 필요한 경우입니다. RAG로 근거를 찾고 프롬프트로 말투를 맞추는 것으로 시작하고, 부족한 부분이 분명해지면 파인튜닝을 더해 함께 쓸 수 있습니다.
흔한 오해 세 가지
“파인튜닝하면 AI가 우리 자료를 정확히 외운다”
파인튜닝은 사실을 정확히 저장하는 방법이 아닙니다. 학습한 내용의 분위기와 패턴은 잘 따라 하지만, 날짜나 금액 같은 세부 사항은 그럴듯하게 틀리게 말할 수 있습니다. 게다가 어디서 나온 답인지 보여 주기도 어렵습니다. 정확한 사실이 중요한 일이라면 RAG가 맞습니다.
“파인튜닝이 더 고급 기술이다”
더 깊이 손대는 방법인 것은 맞지만, 그렇다고 더 좋은 결과를 보장하지는 않습니다. 예시 데이터가 부족하거나 질이 낮으면 오히려 성능이 떨어지기도 합니다. 문제에 맞는 도구를 고르는 것이 중요합니다.
“둘 중 하나만 골라야 한다”
둘은 맡는 일이 달라 함께 쓸 수 있습니다. RAG가 근거를 찾고, 파인튜닝한 모델이 정해진 형식과 말투로 답을 쓰는 식입니다. 다만 처음부터 둘 다 하기보다는 앞의 순서대로 하나씩 더해 가는 것이 안전합니다.
자주 묻는 질문
파인튜닝과 RAG의 가장 큰 차이는 무엇인가요?
파인튜닝은 예시를 학습시켜 AI 모델 자체의 말투·형식·작업 습관을 바꾸는 방법이고, RAG는 모델은 그대로 두고 질문할 때마다 우리 자료에서 관련 내용을 찾아 근거로 건네는 방법입니다. 파인튜닝은 ‘어떻게 답할지’를, RAG는 ‘무엇을 근거로 답할지’를 바꿉니다.
우리 회사 자료를 AI가 알게 하려면 파인튜닝을 해야 하나요?
대부분은 RAG가 더 잘 맞습니다. 파인튜닝으로 사실을 넣으면 내용이 바뀔 때마다 다시 학습해야 하고, 출처를 보여 주기 어려우며, 학습한 내용도 그럴듯하게 틀리게 말할 수 있습니다. 자주 바뀌는 규정·안내·아카이브는 RAG로 연결하는 편이 정확하고 관리하기 쉽습니다.
파인튜닝은 언제 필요한가요?
지시문과 예시만으로는 원하는 말투나 형식이 안정적으로 나오지 않을 때, 같은 형식의 분류·추출 작업을 대량으로 반복해 가벼운 모델로 비용을 줄이고 싶을 때 검토할 만합니다. 이때는 질문과 모범 답으로 이루어진 좋은 예시 데이터를 충분히 모을 수 있는지가 먼저입니다.
파인튜닝과 RAG를 함께 쓸 수도 있나요?
가능합니다. RAG로 우리 자료에서 근거를 찾고, 파인튜닝한 모델이 정해진 형식과 말투로 답을 쓰는 식입니다. 다만 처음부터 둘 다 하기보다 프롬프트와 RAG로 시작해 효과를 확인하고, 그래도 부족한 부분이 있을 때 파인튜닝을 더하는 순서를 권합니다.