微調 vs RAG 這個題目，多半不是以問句出現，而是直接以一句結論登場：我們要拿自己的資料去微調一個模型。這大概是企業 AI 裡最花錢的一句話，而且多數時候是錯的。不是每次都錯，但確實多數如此。這句話背後幾乎只有兩種真實情況：模型不清楚我們公司的事，或者模型回答的方式不合我們的要求。前者用微調來解很糟糕，後者用微調來解很貴。 在微調、RAG 與提示詞之間做取捨，並不是工程師的口味問題。這三者處理的是完全不同類別的毛病，一旦選錯，換來的會是好幾個月的工，而最初那句抱怨依舊原樣擺在那裡。 最能省下預算的一條原則： 如果毛病出在模型不知道某件事，就用檢索。如果毛病出在模型知道，但回答的風格、格式或篇幅不對，先把提示詞改好，真的無效時才輪...
API開發
關於API開發的文章、指南和教程，為開發者和企業提供實用知識與技巧。附實用要點。
進入 2026 年後，認真考慮遷移離開 OpenAI 的團隊明顯變多了。開放權重模型在日常生產任務上的品質已經很難與頂尖模型區分開來，公開單價更低，而權重本身可以下載這一點，把與廠商的關係從依賴變成了選擇。 但這不代表切換是免費的。API 呼叫本身幾乎一模一樣，真正要做的工作在它周圍的一切。本文說明：哪些東西能原樣搬過去、哪些會悄悄出問題、怎樣設計一次有意義的比較，以及什麼時候留在原地才是正確答案。 先把預期對齊。 換廠商就是換一個基底 URL、一個模型名稱、一份憑證。但要拿回同樣的輸出品質，那是以天為單位計的提示詞工程。給一個範圍明確的功能預留一到三週。任何假設可以即時替換的估算，都是樂觀估算。 哪些東西能原樣搬過去比你想的多，這...
大多數團隊把 API 安全當成身分驗證問題：發放權杖，在每一條路由上檢查它，然後認為事情已經做完了。直到某天，一位測試人員把網址裡的一個數字改掉，就讀到了另一位客戶的發票。 「已通過身分驗證」和「已獲得授權」之間的這道縫隙，正是絕大多數真實 API 外洩事件棲身的地方，而且它並不是掃描器能夠穩定發現的那類問題。自動化工具看到一個有效的權杖和一個 200 回應，就回報成功。只有理解你業務規則的人，才會注意到那個回應裡裝的是別人的資料。 核心區別： 身分驗證證明的是誰在呼叫。授權決定的是這個特定呼叫方可以看到什麼、可以修改什麼，而且它必須落實到每一個物件、每一次請求，並在資料層強制執行。幾乎所有嚴重的 API 漏洞，都是第一件事運作完...
Kimi K3 API 帶著一個不尋常的組合登場：接近前沿水準的基準成績、積極的定價，以及可供下載的權重。Moonshot AI 在 2026 年 7 月 27 日公開了這些權重，使 K3 成為迄今公開發布的最大模型，也是這種規模的模型首次在原則上可以由你自己運行。 對於已經在向前沿供應商付費的團隊而言，這提出的是務實問題而非哲學問題：它在你的技術堆疊裡有沒有位置，把一部分流量遷過去究竟會改變什麼。本文討論成本試算、整合工作，以及那些公開數字無法轉化為生產表現的環節。 簡而言之： Kimi K3 的快取未命中輸入約為每百萬 token 3 美元，快取命中輸入約 0.30 美元，輸出約 15 美元，脈絡視窗為 1,048,576...
凡是按端點數量來估算客製化 API 開發成本的人，幾乎都會算錯，而且通常差三倍。端點本身是整件事裡最便宜的部分：十來個端點，只是讀寫你手上已經有的資料，對一位稱職的後端開發者來說不過是兩週的活。 真正花錢的，是把這些端點變成另一家公司願意把生意押上去的東西所需要的一切：經得起安全稽核的驗證、讓你日後還能改主意的版本管理、好到沒人需要寫信問你的說明文件，以及能告訴你哪個客戶今天早上過得不順的維運裝置。有一個 API，和有一個別人靠著它做生意的 API，兩者之間的那道落差，才是預算真正的去處。 價格區間速覽: 只被你自己的應用程式呼叫的內部 API，通常花費 10,000 到 30,000 英鎊。...
CRM 與 ERP 整合幾乎總是被說成一個連線問題，而它幾乎從來都不是連線問題。兩套系統都有文件齊全的介面，也都有現成的連接器。真正的難處在於，業務和財務花了很多年，用兩套不同的詞彙去描述同一門生意，而整合正是這兩套詞彙被迫達成一致的地方。 當有人問起，一條被轉換過兩次的商機到底該產生一個客戶還是兩個，這個專案就不再是技術問題了。這樣的對話，在三十個欄位上重複一遍，才是真正的工作量。 先做這件事: 在挑選連接器或平台之前，先寫下每一個共用欄位由哪套系統擁有，以及兩邊同時被編輯時會發生什麼。跳過這一步的整合建得很快，然後用好幾年時間不斷產出重複紀錄、對不上的合計數，以及沒人敢信的報表。 為什麼 CRM 與 ERP 的資料始終對不齊兩套...
第三方 API 整合是商用軟體裡被低估得最穩定的一類工作。文件讀起來清清楚楚，供應商提供了用戶端函式庫，於是有人說兩週。六週之後，團隊還在爭論：當一個 Webhook 為一筆已經退款的訂單第二次送達時，究竟應該發生什麼。 這道落差不是能力問題。真正的原因在於，一次整合裡有意思的部分從來不是請求和回應，而是當對方系統做出它的文件從未描述過的行為時，隨之而來的一切。它一定會這麼做，因為它是一個活著的產品，屬於一群有自己路線圖、對你的發布計畫不承擔任何義務的人。 經驗法則： 只從一個服務拉取資料的唯讀整合，通常需要一到三週。會寫入交易的整合需要三到六週。兩邊都允許編輯的系統之間的雙向同步需要六到十二週，而且永遠不會真正結束，因為衝突解決是...
OpenAI API 整合在原型階段看起來微不足道，一旦進入生產環境就會變成一個正經的工程專案。概念驗證只需要一個下午：裝上用戶端函式庫，貼上一把金鑰，送出一段提示詞，拿回一個有用的答案。緊接著就有人問：請求逾時了會怎樣，客戶把一份一百頁的合約貼進輸入框時這筆錢誰出，還有上一季的帳單資料是不是剛剛裹在系統提示詞裡離開了公司。 本文談的是第二個階段。它涵蓋 API 在既有架構中該放在哪裡、如何把公司資料圈住、如何在成本失控之前勒住它，以及如何判斷這個功能到底有沒有在發揮作用。面向的讀者是已經有真實生產應用的團隊，不是從空倉庫起步的人。 一句話總結: 生產等級的 OpenAI API 整合，大部分是普通的工程工作。把 API 放在你自己...
對於計劃在2026年部署大語言模型（LLM）的英國（UK）企業而言，確定真實的AI整合成本是關鍵的財務步驟。將AI整合到軟體應用中可以實現客戶服務流程的自動化、提高生產力並從對話數據中釋放深度洞察。然而，為此類方案制定預算不僅僅是看開發者的每小時費率。具體而言，企業必須計算週期性Token費用、向量資料庫託管以及提示詞驗證中間件的支出。本指南詳細介紹了與客製化AI整合相關的價格結構、API運行機制和部署成本。 API計費警告： 請務必在服務商控制面板（如 OpenAI 或 Anthropic）中配置硬性消費限額。如果程式碼循環或使用者請求觸發了無限遞迴呼叫，跳過此步驟將使您的企業面臨巨額的帳單風險。 核心要點： 您的總成本取決...
降低 LLM 延遲是建構反應迅速的 AI 應用的工程師所面臨最關鍵的挑戰之一。雖然大型語言模型（LLM）的能力持續增強，但其逐 token 的生成方式會為終端使用者帶來令人沮喪的瓶頸，而漫長的等待時間會直接導致參與度下降與應用流失。因此，最佳化推論管線的速度是開發者的一項核心要求。本指南概述如何設定提示詞快取、實作回應串流傳輸、建構邊緣網路路由，以及使用無伺服器組態來削減處理延遲。 效能指標提示： 在測量 API 延遲時，請將首個 Token 時間（TTFT）與整體生成速度區分開來。較低的 TTFT 會讓應用對使用者產生即時的感覺，即便整個輸出生成需要數秒，因為文字會立即開始算繪。 重點摘要： 提示詞快取： 重複使用靜態前綴標頭以繞...