技術文章 · 企業 AI 導入

微調、RAG、還是提示工程?2026 年的正確順序這樣排

「想讓 AI 懂公司就先微調」是企業導入最貴的一個誤會。這篇用工程師的帳本,配上真實研究數據,講清楚提示工程、RAG、微調各管什麼、為什麼順序是先修提示再上 RAG 最後才微調,以及哪些訊號真的出現,才輪到 LoRA 微調出場。

作者 Steve Chen · 發布  · 更新  · 約 6 分鐘閱讀

企業 AI 導入 — 廷皓技術專欄插圖

「想讓 AI 懂公司就先微調」是企業導入最貴的一個誤會。這篇用工程師的帳本,配上真實研究數據,講清楚提示工程、RAG、微調各管什麼、為什麼順序是先修提示再上 RAG 最後才微調,以及哪些訊號真的出現,才輪到 LoRA 微調出場。

這篇不談玄的,就用工程師的帳本,把提示工程、RAG、微調這三件事各管什麼、為什麼順序不能顛倒,說清楚。

先把三個詞的分工釘死

很多爭論,其實是名詞沒對齊。這三種手段解決的是三個根本不同的問題,混在一起談就永遠喬不攏。

  • 提示工程管「怎麼問」:把指令寫清楚、附上兩三個示範例子、要求模型先列步驟再作答。它免費、即時生效、改壞了下一秒就能改回來。
  • RAG 管「知道什麼」:把公司文件放進外部資料庫,回答前先檢索、再把相關段落塞進上下文,模型照著眼前的資料作答。這是「讓 AI 知道公司的事」的正解。
  • 微調管「怎麼做」:把某種穩定的格式、語氣、作業習慣直接壓進模型的行為裡,讓它不必每次被提醒也照做。

一句話記:知識問題找 RAG,行為問題找微調,表達問題先修提示。認錯了門,就會走錯整條路。

為什麼微調灌不進知識——先講機制

大型語言模型的知識,是分散存在幾十億到上千億個權重參數裡的,這叫參數化記憶。微調做的事,是拿你的資料去輕推這些權重,讓輸出的行為分布往你要的方向偏。問題就在這裡:公司知識會過期。價目表下個月改版、內規每季更新、報價條款隨專案變,而一條寫進權重裡的事實,你沒辦法單獨把它「編輯」掉,只能把整個模型再重訓一輪。這在工程上等於每改一行字,就要重蓋一次房子。

不同模型、資料集、提示、判分方式與正式流量,結果可能差很多。公開 benchmark 只能用來理解方法,不能直接當成專案承諾;驗收應使用公司自己的題庫,分別記錄正確率、引用支持率、拒答、延遲、成本與人工覆核量。

不是我嘴硬,是有人真的量過

但同一份研究也誠實地劃了界:碰到情感判斷、語氣風格、內容分級這類「表達與行為」的任務,微調確實可能比 RAG 強。這正好呼應前面的分工——知識類的活交給檢索,行為類的活才輪到微調。數據沒有推翻常識,是在幫常識背書。

RAG 把知識放對了地方

RAG 的路子完全不碰模型權重:知識躺在外部資料庫,模型回答前先做一次語意檢索,撈出最相關的幾段塞進上下文,再照著作答。資料改了,重建索引就好,多半是幾分鐘到幾小時的事,模型一根寒毛都不用動。這也是為什麼它對抑制幻覺特別有效——答案有了白紙黑字的依據,模型就少了無中生有的空間。

2026 年的微調長什麼樣

技術門檻確實被壓下來了,但別被工具的輕巧騙了——微調真正的成本從來不在算力,在資料。你得準備好幾百到幾千筆人工整理、標註品質過關的範例;資料髒、量不夠或涵蓋面偏了,微調出來的東西多半端不上桌。而且如同前面說的遺忘問題,嚴謹的做法還得在訓練資料裡「回摻」一部分通用語料,當防遺忘的錨,訓完再跑一輪回歸測試,確認沒把其他能力訓壞。這一整套流程走下來,動輒就是好幾週的工。

所以順序才是提示、RAG、最後才微調

把三條路的帳攤開來看,順序就是明擺著的:

  • 調提示:一位工程師一到兩天,成本趨近於零,完全可逆,改壞了立刻回滾。
  • 建 RAG:中小企業常見規模大約一到三週,文件要清理、切塊、建索引,之後維護成本低。
  • 做微調:光整理訓練資料常常就好幾週,訓完要驗回歸,來源資料一大改可能整輪重來。

三條路的投入差了一個數量級,可逆性更是天差地遠。工程上的排序原則其實只有一句老話:便宜、可逆、見效快的先做,貴、難回頭的留到最後。這不是什麼高深理論,是常識。何況現在主流模型的上下文長度動輒 128k token 起跳,一次塞進好幾萬字的參考內容綽綽有餘,提示這一層能榨出的效果,往往比多數人想像的多——偏偏它最常被跳過,很多人一上來就想談微調。

什麼訊號出現,才真的輪到微調

把提示和 RAG 兩關都走過、還剩下穩定的行為缺口,微調才該出場。真正該微調的訊號其實不難認:

  • 輸出的格式或語氣必須極度穩定,提示怎麼調都偶爾跑掉,而業務上「偶爾出錯」就是不能接受
  • 同一大段冗長指令每次請求都得重複塞,提示長到吃掉大半的上下文與費用
  • 大量、單一、重複的分類或抽取任務,想改用一個微調過的小模型來壓成本、拉速度
  • 領域語言太特殊,滿篇專業縮寫與行話混雜,通用模型連讀順都有困難

現場最常見的翻車姿勢

我遇過最典型的一次,是客戶把兩百多份 PDF 直接丟去微調,期待模型從此「讀熟」全公司。這個錯的根源,是把模型想成一個會唸書、過目不忘的新員工。實際上微調學到的是那批文件的語氣與用詞分布,不是可靠的事實記憶——問到細節,它照樣一本正經地掰,因為參數化記憶本來就不是拿來當資料庫用的。結果幾萬塊訓練費燒下去,換到一個「講話很像你們公司、內容卻不能信」的模型,比原本還難用。

另一種翻車,是反過來把該微調的事當成提示題硬凹:系統提示越寫越長、越補越亂,每次呼叫都在燒 token,行為卻始終不穩。認錯工具,兩個方向都會撞牆。

邊界也得說清楚

這套順序不是原則,有幾種場景要先調整:

  • 高度資安隔離:如果連雲端 API 都碰不得,得先定部署形態與地端模型的選型,順序會跟著模型能力的天花板動。
  • 本質是推理而非知識:如果任務缺的是一套複雜的推理或作業習慣,而不是查得到的事實,RAG 幫不上忙,這時才是微調的正場。
  • 混合打法:成熟的系統常常是 RAG 管知識、微調管語氣與格式、提示管當下的任務框架,三者分層合作,而不是三選一。

方法沒有萬靈丹,排順序的意義從頭到尾只有一個——把最貴、最難回頭的那張牌,留到最後再打。

廷皓科技在高雄楠梓,服務高雄、台南、屏東的企業。你的需求到底卡在提示、資料、還是模型行為,其實一場診斷會議就分得出來,不必先掏微調的預算去試錯。想省下走錯路的錢,先打 07-363-0802 或加 LINE,把題目丟過來,我們陪你把順序排對。

聯絡廷皓討論 看更多文章