降低 LLM 延遲是建構反應迅速的 AI 應用的工程師所面臨最關鍵的挑戰之一。雖然大型語言模型（LLM）的能力持續增強，但其逐 token 的生成方式會為終端使用者帶來令人沮喪的瓶頸，而漫長的等待時間會直接導致參與度下降與應用流失。因此，最佳化推論管線的速度是開發者的一項核心要求。本指南概述如何設定提示詞快取、實作回應串流傳輸、建構邊緣網路路由，以及使用無伺服器組態來削減處理延遲。 [!TIP] 效能指標提示： 在測量 API 延遲時，請將首個 Token 時間（TTFT）與整體生成速度區分開來。較低的 TTFT 會讓應用對使用者產生即時的感覺，即便整個輸出生成需要數秒，因為文字會立即開始算繪。 重點摘要： 提示詞快取： 重複使用靜...
Cloudflare Workers
有關Cloudflare Workers的指南、教學與範例，這是一個在網路邊緣部署快速、可擴展且安全應用程式的無伺服器平台。
使用全新的 OpenAI Realtime API 構建低延遲音訊管道，使開發人員能夠在生產環境中推出類似人類的對話式語音代理。傳統上，構建語音介面意味著將三個獨立的模型層連結在一起：自動語音識別（ASR）、基於文本的 LLM 邏輯層，以及文本轉語音（TTS）合成。該多步驟管道引入了顯著的往返網路延遲，使得自然對話變得不可能。通過持久的 WebSocket 連接進行原生音訊處理改變了這一現狀，將網路延遲降低到 300 毫秒以下。本指南闡述了如何建立連接狀態、流式傳輸原始音訊緩衝區以及優化會話配置。 [!IMPORTANT] API 安全警告：切勿在用戶端瀏覽器指令碼中直接公開您的 OpenAI API 金鑰。始終通過安全的邊緣中間...
構建 Cloudflare Workers AI 代理是從簡單的 AI 提示詞過渡到自適應工作流的下一步。這些被稱為 AI 代理（AI Agent）的系統使用大語言模型（LLM）來調用外部工具、做出決策並自主執行任務。雖然傳統的代理運行需要沈重的伺服器，但本教程將向您展示如何使用 Cloudflare Workers 和 LangChain.js 構建並託管無伺服器的 AI 代理。 TL;DR 瞭解 AI 代理：代理使用 LLM 做出決策並調用外部 API（工具/tools）來自主解決使用者查詢。 在邊緣（edge）端使用 LangChain.js：LangChain.js 與 Cloudflare Workers 輕量級的 V8 ...
本 Cloudflare Workers AI 教程將向您展示如何直接在 Cloudflare 的全球邊緣網絡上部署和運行機器學習模型。借助 Cloudflare Workers AI ，您可以在靠近用戶的地方執行大型語言模型（LLMs）、文本翻譯、圖像生成和語音轉文字，而無需管理複雜的 GPU 伺服器。以下步驟涵蓋了如何配置 Wrangler、編寫 fetch 處理程序、運行 Llama 模型以及優化邊緣 API 成本。 TL;DR 無伺服器運行 AI 模型；Cloudflare Workers AI 管理底層 GPU 基礎設施，僅按活躍計算量計費。 在 wrangler.toml 中配置綁定（bindings）；...
Cloudflare Workers 與 AWS Lambda 都是無伺服器運算平台，但兩者的起點不同。Lambda 是龐大 AWS 生態系中確立的無伺服器標準；Workers 則是邊緣原生的，為低延遲與全球分發而生。2026 年，兩者都很出色，正確的選擇取決於你的工作負載與現有技術棧。本指南從真正重要的面向比較 Cloudflare Workers vs AWS Lambda。 重點摘要（TL;DR） Workers 在輕量的 V8 isolates 上於 edge 執行，cold start 幾乎為零，並預設全球分發 Lambda 在 AWS 區域中以 microVM 模型執行，支援眾多語言執行環境，並與 AWS...
Cloudflare Workers 讓你無需管理伺服器，就能在靠近使用者的邊緣執行後端程式碼。對 API 而言，近乎為零的冷啟動、全球分佈與緊密整合的儲存三者結合，使 Workers 在 2026 年成為極具吸引力的平台。本指南說明 Cloudflare Workers API 的結構，以及它與傳統後端有何不同。 重點摘要 Cloudflare Workers 在邊緣的 Cloudflare 全球網路上執行你的程式碼，因此請求可在靠近使用者處以近乎為零的冷啟動被處理 Worker 透過 fetch 處理常式處理傳入請求；你依方法與路徑進行路由，並回傳標準的 Response 物件 Workers 直接綁定至儲...
如果 Cloudflare Images 是你圖片棲身之處，那麼 Cloudflare Image Transformations 就是讓它們變快的引擎。它在圖片被請求的那一刻調整尺寸、壓縮並將其轉換為現代格式，只使用你已經擁有的原圖。沒有建置步驟，沒有預先產生的縮圖，沒有把你的儲存弄得雜亂的單獨副本。你在 URL 中請求想要的尺寸和格式，Cloudflare 便在邊緣產生它並快取。 本指南是我關於在 Cloudflare 上託管圖片的概述的實用伴篇。它講解執行轉換的兩種方式、重要的參數、在 2026 年的成本，以及如何在 WordPress 和 PrestaShop 上將這一切自動化。 摘要 轉換從單張原圖按需調整尺寸、壓縮並將圖...
在過去十年的大部分時間裡，執行一個 AI 模型意味著租用 GPU 伺服器、管理驅動程式，而且無論是否有請求進來都要為那些硬體付費。Cloudflare Workers AI 徹底改變了這種模式：你像呼叫 Worker 中任何其他函式一樣呼叫一個 AI 模型，它執行在分布於 Cloudflare 全球網路的 GPU 上，而你只為所用付費。無須佈建伺服器，無須照看 GPU，推論就在你的使用者附近發生。 本指南說明 Workers AI 是什麼、你可以執行哪些模型、在 Neurons 定價模型下它的成本，以及如何從程式碼中呼叫它，其中包括一個實用的圖片生成範例。它是我持續的 Cloudflare 攻略的一部分，旨在於邊緣建構快速、現代的應...
多年來，對於「我該把這個部署到 Cloudflare 的哪裡」這個問題，答案很簡單：靜態站台和前端放到 Pages，無伺服器邏輯放到 Workers。到了 2026 年，這條界線已經模糊，因為 Workers 現在可以直接提供靜態資源，這意味著單個 Worker 就能託管你的整個站台，前端和後端合而為一。這改變了 Cloudflare 自己對新專案的建議，在你選邊站之前，值得先弄清楚原因。 本指南說明每個產品是什麼，向靜態資源的轉變如何改變了 Cloudflare Pages vs Workers 的抉擇，並為新專案以及任何在考慮是否遷移的人給出明確的建議。 摘要 Pages 是面向靜態站台和前端框架的 git 連接託管，...
無伺服器運算為應用程式碼解決了「沒有伺服器要管理」的問題，但資料庫卻是個尷尬的掉隊者。你可以在邊緣以毫秒級執行一個 Worker，然後眼睜睜看著它等待一個位於遙遠單一區域的資料庫。Cloudflare D1 彌合了這道鴻溝：它是一個真正的 SQL 資料庫，建構在 SQLite 之上，存在於 Cloudflare 的網路上，並直接繫結到你的 Workers。你撰寫普通的 SQL，只為實際執行的查詢付費。 本指南說明 D1 是什麼、花費多少、如何從 Worker 查詢它，以及何時應選擇它而非 KV 或傳統的 Postgres 資料庫。 摘要 D1 是建構在 SQLite 之上的無伺服器 SQL 資料庫，直接繫結到 Cloudflare...