파인튜닝 vs RAG 논쟁은 대개 질문이 아니라 이미 내려진 결론의 형태로 도착합니다. 우리 데이터로 모델을 파인튜닝해야 한다는 한 문장이 그것입니다. 이 문장은 기업 AI에서 가장 비싼 문장 가운데 하나이며, 대부분의 경우 틀린 판단입니다. 언제나 틀린 것은 아니지만 대체로 그렇습니다. 이 요청은 거의 언제나 둘 중 하나를 뜻합니다. 모델이 우리 비즈니스를 전혀 모른다는 뜻이거나, 모델이 알고는 있는데 우리가 원하는 방식으로 답하지 않는다는 뜻입니다. 파인튜닝은 앞의 문제에 대해서는 형편없는 해법이고, 뒤의 문제에 대해서는 지나치게 비싼 해법입니다.

파인튜닝과 검색 증강, 그리고 프롬프트 개선 사이에서 무엇을 고를지는 기술적 취향의 문제가 아닙니다. 세 가지는 각각 성격이 전혀 다른 종류의 문제를 고치기 때문입니다. 그래서 잘못된 것을 고르면, 몇 달치 성실한 엔지니어링이 정작 처음 제기된 불만은 건드리지도 못한 채 끝나 버립니다. 프로젝트가 두어 주 만에 마무리되느냐 한 분기를 통째로 삼키느냐는, 실은 며칠이면 끝나는 진단에서 갈리는 경우가 대부분입니다.

가장 많은 돈을 아껴 주는 규칙: 문제가 모델이 무언가를 모른다는 것이라면 검색을 쓰십시오. 문제가 모델은 알고 있는데 스타일이나 형식이나 길이가 원하는 대로 나오지 않는 것이라면 프롬프트를 먼저 다듬고, 그래도 해결되지 않을 때에만 파인튜닝을 검토하십시오. 파인튜닝은 지식이 아니라 행동을 가르칩니다. 지식을 주입할 목적으로 파인튜닝을 쓴 팀은 결국 새로운 사내 문체로 자신 있게 틀리는 모델을 얻게 됩니다.

파인튜닝 vs RAG vs 프롬프팅: 각각이 하는 일

세 가지의 차이는 업계의 논의가 만들어 내는 인상보다 훨씬 단순합니다.

프롬프팅은 요청마다 함께 보내는 지시문을 바꾸는 일입니다. 답변의 어조와 형식, 문서 구조, 추론 방식을 결정하며, 양이 많지는 않아도 어느 정도의 맥락을 지시문 안에 직접 실어 보낼 수 있습니다. 효과는 즉시 나타나고, 비용은 소비한 토큰 값 외에 따로 들지 않으며, 운영 중인 서비스에서도 몇 초 만에 바꿀 수 있습니다. 재배포도 재학습도 필요하지 않습니다.

검색은 요청이 들어온 그 시점에 사내 콘텐츠에서 관련 자료를 찾아와, 모델이 답을 만들기 전에 맥락에 넣어 주는 방식입니다. 덕분에 모델은 한 번도 학습한 적 없는 정보에도 접근할 수 있습니다. 오늘 아침에 바뀐 내용까지 포함해서 그렇습니다. 모델 자체는 조금도 달라지지 않습니다. 달라지는 것은 모델의 손에 쥐여 주는 재료뿐입니다. 그 동작 원리는 검색 증강 생성 해설 에서 자세히 다루었습니다.

파인튜닝은 원하는 행동을 보여 주는 예시를 가지고 모델의 가중치 자체를 조정하는 일입니다. 말로 설명하기는 어렵지만 보여 주기는 쉬운 것, 다시 말해 일관된 형식과 어조, 특정 업무에만 있는 고유한 패턴을 가르치는 데에는 정말로 효과가 있습니다. 반면 사실을 가르치는 데에는 확실히 약합니다. 그렇게 학습된 사실은 나중에 갱신할 수도, 감사할 수도, 출처를 인용할 수도 없기 때문입니다. 게다가 모델은 자신이 그 사실을 잘못 끌어다 쓰고 있다는 점을 알려 줄 방법조차 갖고 있지 않습니다.

혼란이 생기는 이유는 세 가지 방법 모두가 출력을 바꾸기 때문입니다. 그러나 모델이 아는 것 자체를 바꾸는 것은 검색뿐입니다.

각각의 비용

아래 금액은 중견 규모의 비즈니스 애플리케이션을 영국에서 구축할 때 흔히 형성되는 수준입니다.

프롬프팅. 몇 주가 아니라 며칠이면 충분합니다. 함께 만들어 두어야 하는 평가 세트까지 포함해 대체로 1,000~5,000파운드 선입니다. 운영 비용은 사실상 토큰 값이 전부이고, 시스템 프롬프트가 길어지면 조금 오르기는 하지만 프롬프트 캐싱이 그 증가분의 대부분을 상쇄해 줍니다.

검색. 4주에서 12주가 걸리고, 원본 콘텐츠가 얼마나 지저분한지에 따라 보통 15,000~60,000파운드가 듭니다. 구축 비용의 대부분은 데이터 적재 단계에 몰려 있습니다. 문서를 보관하고 있는 시스템에서 꺼내 오고, 의미가 유지되도록 알맞게 쪼개고, 사용자가 볼 권한이 있는 자료만 검색되도록 권한을 처리하고, 색인을 늘 최신 상태로 유지하는 일이 여기에 들어갑니다. 운영 비용에는 벡터 저장소와 요청마다 조금씩 늘어난 맥락 비용이 더해집니다.

파인튜닝. 엔지니어링에 2주에서 8주가 들고 여기에 데이터셋 제작이 더해져, 보통 20,000~80,000파운드가 듭니다. 학습에 쓰는 연산 비용은 대개 가장 작은 항목입니다. 실제 비용은 수백에서 수천 건에 이르는 고품질 예시를 만들어 내는 데 있으며, 이는 해당 도메인을 아는 사람이 직접 손으로 해야 하는 일입니다. 운영 비용도 더 높아질 수 있습니다. 파인튜닝된 모델은 단가에 프리미엄이 붙거나 전용 호스팅을 요구하는 경우가 많기 때문입니다.

여기서 핵심은 이 비용들의 비대칭입니다. 프롬프팅은 그것만으로 충분하지 않으리라고 꽤 확신하는 상황에서도 일단 먼저 시도해 볼 만큼 저렴합니다. 어차피 평가 장치는 만들어야 하고, 한 번 시도해 보면 진짜 실패 원인이 무엇인지 추측이 아니라 근거로 알게 되기 때문입니다.

시도해야 할 순서

순서대로 밟아 가는 편이 결말로 곧장 건너뛰는 것보다 저렴합니다. 결국 같은 결말에 도착하게 되는 경우에도 그렇습니다.

평가 세트부터 만드십시오. 정답을 알고 있는 실제 입력을 삼십 개에서 백 개 정도 모으면 충분합니다. 이것이 없으면 어떤 변경이 실제로 도움이 되었는지 판단할 방법이 없고, 그 뒤의 모든 결정이 자신감 있게 포장된 추측으로 바뀝니다. 이는 OpenAI API 통합 가이드 에서 설명한 것과 동일한 체계입니다.

그다음 프롬프트를 개선하십시오. 형식을 구체적으로 지정하고, 좋은 출력의 예시 몇 개를 지시문 안에 직접 넣고, 답을 모를 때 어떻게 해야 하는지를 분명히 적어 두십시오. 모델이 충분히 좋지 않다는 불만 가운데 놀랄 만큼 많은 비율이 바로 이 단계에서 해소됩니다. 특히 답변이 장황하다거나 구조가 들쭉날쭉하다는 종류의 불만이 그렇습니다.

그다음 더 크거나 다른 모델을 시도하십시오. 어떤 커스터마이징 작업보다도 저렴한 경우가 많고, 평가에 걸리는 시간도 반나절이면 충분합니다. 이 비교를 제대로 수행하는 방법은 OpenAI에서 벗어나기 글에서 다루었습니다.

실패의 원인이 지식이라면 검색을 추가하십시오. 모델이 자사 제품이나 정책, 사내 문서에 관한 질문에 틀리게 답하거나 답변 자체를 회피하고 있다면, 문제를 실제로 해결해 주는 단계는 바로 여기입니다.

실패의 원인이 행동이라면 그때 파인튜닝을 검토하십시오. 이 지점에 이르면 평가 세트와 잘 다듬어진 프롬프트, 필요하다면 검색 파이프라인까지 이미 갖추게 됩니다. 그럼에도 출력의 스타일이나 구조가 원하는 수준에 미치지 못하고, 원하는 행동을 말로 설명하기보다 수백 건의 예시로 보여 주는 편이 더 쉽다면, 그때는 파인튜닝이 올바른 도구입니다.

대부분의 프로젝트는 세 번째나 네 번째 단계에서 멈춥니다. 그 멈춤이 곧 절약입니다.

파인튜닝이 진짜로 이기는 경우

파인튜닝이 정답인 경우도 분명히 존재합니다. 이를 통째로 부정하는 것은 처음부터 파인튜닝에 손을 뻗는 것만큼이나 잘못된 태도입니다.

대규모로 일관된 구조화 출력이 필요할 때. 모든 응답이 엄격한 형식을 따라야 하는데 그 형식을 프롬프트로 일일이 규정하기가 번거로운 경우, 파인튜닝된 모델은 훨씬 적은 입력 토큰으로 그 형식을 더 안정적으로 만들어 냅니다. 처리 물량이 커지면 이 차이가 스스로 비용을 회수합니다.

전문적인 어조나 도메인 문체가 필요할 때. 법률 문서 작성, 진료 기록, 규제 대상 금융 커뮤니케이션처럼 관행이 강하게 굳어져 있어 현업 종사자는 한눈에 알아보지만 지시문으로는 좀처럼 담아내기 어려운 문체가 여기에 해당합니다.

경계가 미묘해 말로 옮기기 어려운 분류 작업. 팀원들은 일관되게 라벨을 붙일 수 있는데 그 규칙을 문장으로 적어 내지는 못하는 상황이라면, 그것이야말로 예시로 학습시키는 방식이 존재하는 이유입니다.

대량 처리에서 비용을 낮춰야 할 때. 하나의 좁은 업무에서 더 큰 범용 모델과 맞먹는 성능을 내는 작은 파인튜닝 모델은 요청당 비용을 크게 줄여 줍니다. 다만 절감액이 구축비와 유지비의 합을 넘어서는 물량 구간에 올라섰을 때에만 의미가 있습니다.

이 사례들을 관통하는 공통점은 지식이 아니라 행동입니다. 원하는 바를 한 문단으로 적어 낼 수 있다면 프롬프트로 지시하십시오. 적지는 못하고 보여 줄 수만 있다면 학습시키십시오.

아무도 견적에 넣지 않는 비용

파인튜닝 사업 계획서에서 습관적으로 빠지는 지속 비용이 셋 있습니다.

데이터셋은 낡습니다. 파인튜닝된 모델은 자신이 본 예시를 그대로 반영합니다. 제품이나 정책, 사내 문체가 바뀌면 그 예시들은 순식간에 낡은 것이 되고, 모델은 예전 방식의 답을 아주 자신 있게 계속 내놓습니다. 주기적인 재학습을 일회성 지출이 아니라 상시 운영 비용으로 미리 잡아 두십시오.

특정 베이스 모델에 묶입니다. 파인튜닝은 특정 버전 위에 붙는 작업입니다. 그 베이스 모델의 지원이 종료되거나 더 나은 모델이 나오면, 옮겨 가기 위해 처음부터 다시 학습시켜야 합니다. 프롬프트에는 존재하지 않는 실질적인 전환 비용입니다.

평가가 선택이 아니라 의무가 됩니다. 프롬프트를 쓸 때는 품질이 떨어진 것을 눈으로 훑어보고도 알아챌 수 있습니다. 그러나 파인튜닝된 모델에서는 행동이 왜 바뀌었는지 들여다볼 수 없기 때문에, 평가 장치가 손에 쥔 유일한 계측기가 됩니다.

검색에도 규모는 작지만 같은 성격의 부담이 있습니다. 색인은 최신 상태를 유지해야 하고, 사람들의 역할이 바뀌어도 권한은 계속 정확하게 남아 있어야 하며, 적재가 조용히 멈췄을 때 누군가는 그것을 알아차려야 합니다. 재학습보다는 싸지만 결코 공짜는 아닙니다.

만들기 전에 진단부터

Mecanik은 AI 통합 서비스 의 일부로 검색 시스템과 평가 장치, 파인튜닝 파이프라인을 구축합니다. 그리고 언제나 세 가지 문제 가운데 무엇이 실제로 겪고 있는 문제인지 확인하는 데에서 시작합니다.

이 진단은 대개 짧은 계약으로 끝나며, 원래 계획하고 있던 프로젝트보다 훨씬 적은 비용이 드는 권고로 마무리되는 경우가 많습니다. 파인튜닝이 정말로 정답인 경우에는 그렇다고 분명히 말씀드리고, 데이터셋 작업의 범위를 솔직하게 산정합니다. 프로젝트의 성패를 가르는 부분이 바로 거기이기 때문입니다. 예산의 전체 그림이 필요하다면 AI 통합 비용 가이드 에서 구축 비용과 운영 비용을 나누어 정리해 두었습니다.

모델이 무엇을 어떻게 잘못하고 있는지, 사용자들이 실제로 쓸 법한 표현 그대로 알려 주십시오. 셋 중 어느 문제인지 저희가 짚어 드리겠습니다.

관련 게시물: AI 소프트웨어 개발 - 2026년 영국 비즈니스 가이드 , Kimi K3 자체 호스팅: 하드웨어, 비용, 데이터 주권 , 2026년 Drupal 마이그레이션: 비용·기간·기한 , OpenAI API 챗봇 구축: 2026년 가이드 .

자주 묻는 질문

회사 데이터로 모델을 파인튜닝해야 할까요? 대부분의 경우 그럴 필요가 없습니다. 파인튜닝은 사실이 아니라 행동을 가르치며, 그렇게 학습된 지식은 갱신하거나 인용하거나 감사할 수 없습니다. 모델이 자사 제품과 정책, 사내 문서를 모른다는 것이 문제라면 검색이 올바른 접근이고, 구축과 유지 모두 더 저렴합니다.

파인튜닝과 RAG의 차이는 무엇인가요? 검색은 요청이 들어온 시점에 사내 콘텐츠에서 관련 자료를 찾아 맥락에 넣어 주므로, 모델은 학습 때 본 적 없는 정보로도 답할 수 있습니다. 파인튜닝은 예시를 사용해 가중치를 조정하며, 모델이 아는 것이 아니라 행동하는 방식을 바꿉니다.

파인튜닝 비용은 얼마인가요? 중견 규모 비즈니스 애플리케이션 기준으로 보통 20,000~80,000파운드가 들고, 엔지니어링에 2주에서 8주가 걸립니다. 학습 연산은 대개 가장 작은 항목이며, 비용의 대부분은 도메인을 아는 사람이 직접 만들어야 하는 수백에서 수천 건의 고품질 예시에서 발생합니다.

RAG 시스템 구축 비용은 얼마인가요? 보통 4주에서 12주에 걸쳐 15,000~60,000파운드가 들며, 금액을 좌우하는 것은 주로 원본 콘텐츠가 얼마나 지저분한가입니다. 작업의 대부분은 적재와 청킹, 볼 권한이 있는 자료만 검색되게 하는 권한 처리, 그리고 색인 최신화에 들어갑니다.

어떤 순서로 시도해야 하나요? 평가 세트를 먼저 만들고, 프롬프트를 개선하고, 더 크거나 다른 모델을 시도한 다음, 실패 원인이 지식이면 검색을 더하고, 실패 원인이 행동일 때에만 마지막으로 파인튜닝을 검토하십시오. 대부분의 프로젝트는 마지막 단계에 도달하기 전에 해결됩니다.