Cloudflare Vectorize 嵌入遷移會改變應用表示和檢索資訊的方式。即使新模型接受相同文件,其向量與排序行為也可能不同。僅替換查詢路徑中的模型名稱,並不構成完整遷移方案。
為新嵌入設定建立獨立、版本化索引,從權威來源回填,並在兩條路徑並存期間持續核對更新與刪除。使用代表性問題集比較檢索,然後同時切換查詢和索引設定。保留經過測試的回滾路徑,直到新結果通過驗收。
設想文件助手遷移到旨在支援更多語言的嵌入方式。現有索引正在服務客戶,團隊希望改進相關檢索,同時避免目前手冊消失、已刪除材料恢復,或返回呼叫者無權存取的段落。
本文描述建議的應用遷移流程,不聲稱 Vectorize 能自動在模型間轉換向量,也不認為更換嵌入模型必然改善結果。
Cloudflare Vectorize 嵌入遷移從契約開始
Cloudflare 的索引建立指南 將維度和距離度量列為索引設定,並說明建立後無法更改。準備替代索引前,應確認所選模型輸出與預期索引設定。
僅匹配維度,並不構成相容性測試。應用應將嵌入模型、預處理、分塊與索引視為版本化檢索設定。查詢需要使用與已存文件向量相對應的表示。
| 契約要素 | 遷移前記錄 | 為何重要 |
|---|---|---|
| 來源版本 | 權威文件身分與修訂版本 | 重現被索引材料 |
| 處理 | 提取與分塊設定 | 解釋段落邊界變化 |
| 嵌入 | 模型及相關設定 | 標識向量表示 |
| 索引 | 名稱、維度與度量 | 防止查詢路由不匹配 |
| 檢索策略 | 過濾器與結果處理 | 保留存取與應用含義 |
契約應在不檢查即時部署的情況下也能讀懂。未來工程師需要確定哪種表示產生了結果,以及哪個應用版本選擇了它。
明確遷移希望改善什麼
寫下目前結果的問題,可能是某種語言檢索較差、術語處理薄弱,或模型支援要求。“使用更新模型”並非驗收標準。
構建能夠暴露實際弱點、又保留重要現有案例的問題集,包含精確產品編號、無法回答的問題、受限文件和每種相關語言的示例。比較答案前,讓來源負責人確定什麼證據有用。
獨立於生成正文評估檢索段落。語言模型可以讓薄弱檢索看起來連貫。如果替代方案找到的證據更差,只是答案更流暢,遷移未必改善了應用。
記錄可接受的取捨。寬泛描述性搜尋改善,可能伴隨精確編號結果變差。負責人應決定取捨是否可接受,還是應用需要不同檢索策略。
根據權威材料構建平行索引
以不同且可追蹤的身分建立替代索引。新表示通過評估前,不要覆蓋唯一可用的舊表示。從來源系統或有文件說明的來源快照回填,不要將舊向量當成原始文件。
維護來源記錄與插入各索引的文件塊之間的穩定對映。分塊變化可能產生不同識別碼集合,因此刪除和替換流程必須知道哪些衍生記錄屬於某個來源版本。
讓來源快照和處理進度可見。維運人員應能識別從未處理、提取失敗或被嵌入路徑拒絕的文件。向量總數無法揭示缺失記錄是否恰好是重要記錄。
Cloudflare 的查詢指南 是使用結果索引的依據。針對所選目前 API 測試,不要假設插入成功就能立即證明每條查詢路徑已就緒。
兩種表示並存時核對變化
回填可能耗時,來源文件同時繼續變化。決定替代索引如何追趕,可以使用版本化變更日誌,或適合來源系統的其他明確同步流程。
明確追蹤刪除。回填期間移除的文件,不能因較舊快照項目稍後處理完成而重新出現。接受衍生材料前,比較來源目前版本與刪除狀態。
| 遷移期間事件 | 必需決策 |
|---|---|
| 新增文件 | 按替代契約建立索引 |
| 修訂文件 | 有計劃地取代舊表示 |
| 移除文件 | 刪除或排除所有相關衍生記錄 |
| 權限變化 | 對檢索應用目前存取規則 |
| 處理失敗 | 記錄缺失來源與恢復操作 |
不能僅因回填作業成功退出,就聲稱替代索引已經追上。應核對預期來源身分、版本和處理結果,逐項處理異常,或透過明確接受的策略處理。
我們的 RAG 資料時效指南 介紹持續更新問題。遷移增加了第二種表示,在切換和退役完成前,它必須遵循相同來源規則。
在相同權限下比較檢索
讓舊查詢路徑與替代路徑處理同一組允許問題。保持查詢嵌入設定與正確索引配套。使用不匹配表示進行比較,測量的是整合缺陷,而非模型品質。
除排序外,也驗證過濾和來源開啟。Cloudflare 的後設資料過濾參考 介紹了該機制,應用必須保留負載所需存取條件。
| 評估類別 | 應比較的證據 |
|---|---|
| 相關證據 | 複核者能否找到所需來源段落 |
| 精確編號 | 是否混淆相鄰產品或錯誤識別碼 |
| 無法回答的問題 | 系統能否返回沒有可用證據 |
| 受限材料 | 未授權段落和引用是否始終不出現 |
| 更新和刪除來源 | 結果是否符合已接受來源狀態 |
| 維運行為 | 端到端耗時與可解釋故障 |
保留單獨失敗案例。彙總分數可能掩蓋商業上重要的迴歸,例如為常用產品返回過時指令。接受切換前,負責人應複核這些案例。
切換完整檢索設定
同時切換查詢嵌入路徑、索引選擇與相關檢索設定。實際可行時,為已接受版本保留單一且有文件的選擇項。部分部署可能把新查詢向量送往舊索引,或應用不相容的儲存後設資料假設。
從適合應用風險的受控發布開始。將觀察結果與驗收集比較,在追蹤中保留足夠版本資訊,以識別問題由哪條路徑處理。
回滾應恢復完整舊設定,依賴回滾前先測試。如果試用期間舊索引停止接收來源變化,回滾就可能恢復過時或已刪除材料。記錄如何防止或核對這種情況。
只有經過商定觀察期和來源複核後,才退役舊表示。移除是獨立維運步驟,有自己的保留與恢復影響。切換成功,不會自動授權刪除全部舊證據。
估算整個遷移,而不只是回填
專案成本包括來源核對、處理、評估、受控部署和回滾。僅覆蓋向量生成的報價,排除了讓遷移值得信任的工作。
要求 GBP 估算,說明語料大小、來源變化率、支援語言、權限複雜度與現有識別碼品質。設計需要時,計入臨時平行儲存和重複處理。
報價用量費用前,核實實際嵌入與儲存設定的目前供應商費率。記錄處理失敗和重建索引假設。單位費率較低的模型,如果結果需要不同處理管道,仍可能需要更多工程投入。
我們可以透過 AI 整合試點 界定有限遷移評估。請提供目前模型、索引契約、來源更新流程和失敗搜尋示例,索取嵌入遷移方案 。在替換執行中的系統前,讓擬議改善可以測試。
常見問題
可以不重建索引就替換嵌入模型嗎? 不要假設相容。將模型與文件表示作為版本化契約,透過獨立構建的索引和檢索評估驗證替代方案。向量維度相同,不代表含義等價。
Vectorize 索引維度可以原地修改嗎? 目前索引建立文件說明,維度和距離度量建立後無法更改。確認替代模型輸出並建立合適新索引,而不是規劃原地設定修改。
為什麼遷移時保留舊索引? 它在評估替代方案時提供可用對照與潛在回滾路徑。只有來源更新、刪除和權限保持最新,或經過有意核對,這條路徑才仍然有用。
回填期間刪除的文件如何處理? 根據權威來源狀態追蹤刪除。舊快照項目不能在刪除後重新引入已移除材料。接受替代方案前,核對衍生記錄和來源版本。
應該比較生成答案還是檢索段落? 先評估段落,再評估使用這些段落生成的答案。這樣能區分檢索迴歸與摘要變化,防止流暢文字掩蓋缺失或過時證據。
回滾應該恢復什麼? 恢復完整舊檢索設定,包括查詢嵌入、索引選擇,以及相關後設資料和過濾假設。驗證恢復路徑不會暴露過時、已刪除或新受限材料。
什麼決定遷移成本? 來源品質、更新頻率、處理變化、權限規則和評估要求決定工作量。範圍明確的 GBP 估算應包括平行執行、部署和回滾,而不只報價向量生成。