Độ mới dữ liệu RAG là khả năng hệ thống truy xuất phản ánh nguồn hiện tại đã duyệt, gồm cập nhật, xóa và đổi quyền truy cập. Tải tài liệu mới thường xuyên chỉ là một phần. Đoạn cũ, câu trả lời cache và đường xóa lỗi có thể tiếp tục ảnh hưởng điều trợ lý nói.
Định nghĩa độ mới là hợp đồng quan sát được từ nguồn đến câu trả lời, với đường chủ động cho cập nhật, thu hồi và đổi quyền. Giữ danh tính tài liệu và bằng chứng phiên bản, đối soát chỉ mục với nguồn và kiểm thử nội dung nghỉ dùng không xuất hiện nữa. Mốc thời gian nạp gần đây tự nó không xác lập câu trả lời hiện tại hoặc được phép.
Hãy hình dung trợ lý nội bộ trả lời về quy trình nhà cung cấp. Vận hành thay tài liệu nhưng trợ lý lấy đoạn từ phiên bản cũ. Câu trả lời có thể trôi chảy và dẫn chính xác đoạn đó mà vẫn chỉ nhân viên tới quy trình sai.
Hướng dẫn tập trung bảo trì dữ liệu truy xuất sau triển khai đầu. Giải thích RAG của chúng tôi giới thiệu cách tiếp cận rộng hơn; quyết định ở đây là giữ quy trình tri thức hiện tại đáng tin cậy thế nào.
Định nghĩa độ mới dữ liệu RAG cho từng nguồn
Hỏi thay đổi nào quan trọng và doanh nghiệp cần phản ánh nhanh thế nào. Sổ tay lịch sử, hồ sơ tồn kho trực tiếp và chính sách thu hồi không có cùng yêu cầu cập nhật. Xác định kỳ vọng riêng khi hậu quả thông tin cũ khác.
Xác định nguồn có thẩm quyền và ai duyệt. Thư mục chung có thể chứa nháp, bản trùng và lưu trữ. Nạp mọi thứ mới đổi không xác lập phiên bản nhân viên nên theo. Thẩm quyền nội dung cần quy tắc nghiệp vụ trước thành quy tắc lập chỉ mục.
| Đổi nguồn | Hành vi cần định nghĩa | Bằng chứng kiểm tra |
|---|---|---|
| Sửa đổi đã duyệt | Thay hoặc cho nội dung chỉ mục liên quan nghỉ dùng | Tham chiếu phiên bản nguồn và chỉ mục |
| Thu hồi tài liệu | Loại khỏi khả năng truy xuất | Không có trong kiểm thử truy xuất kiểm soát |
| Đổi quyền | Áp dụng ranh giới truy cập mới | Kết quả dưới danh tính bị ảnh hưởng |
| Di chuyển hoặc đổi tên tệp | Giữ hoặc chủ động đổi danh tính | Ánh xạ ổn định và đối soát liên kết |
| Nạp lỗi | Hiện trạng thái cũ hoặc không có | Cảnh báo có người phụ trách và phiên bản xác nhận cuối |
Đừng hứa khoảng độ mới chung trước hiểu API nguồn, lập chỉ mục và yêu cầu vận hành. Đề xuất nhà cung cấp cần nêu đo được gì, điều gì làm chậm và trợ lý làm gì trong lúc chờ cập nhật.
Giữ danh tính qua tài liệu và đoạn
Cho hồ sơ nguồn danh tính ổn định qua cập nhật thường khi nguồn hỗ trợ. Giữ phiên bản, vị trí lấy và quan hệ đoạn. Chỉ tên tệp có thể không đủ khi đổi tên, sao chép hoặc thay tại chỗ.
Tổng quan indexer Azure AI Search của Microsoft mô tả indexer là thành phần nạp nguồn dữ liệu. Đọc hành vi theo thay đổi thực tế của bộ kết nối chọn. Chạy theo lịch là cơ chế, không chứng minh mọi thao tác nguồn được phát hiện.
Giữ ánh xạ nguồn-đoạn kiểm tra được. Khi đoạn văn đổi, hệ thống cần biết đoạn cũ nào bị thay. Thêm đoạn mới không loại đoạn cũ có thể tạo bằng chứng mâu thuẫn dù từng embedding hợp lệ kỹ thuật.
Ghi cách tạo trường dẫn xuất. Trích văn bản, chuẩn hóa và chia đoạn có thể đổi nghĩa chỉ mục. Khi câu trả lời sai sau cập nhật pipeline, người vận hành cần phân biệt sửa nguồn với đổi trích hoặc truy xuất.
Xem xóa là vòng đời riêng
Đừng cho rằng tệp biến mất khỏi lưu trữ tự động xóa biểu diễn chỉ mục. Hướng dẫn phát hiện thay đổi và xóa của Microsoft phân biệt rõ theo cập nhật với phát hiện xóa cho indexer lưu trữ và mô tả chiến lược xóa hỗ trợ.
Chi tiết tùy nền tảng nhưng câu hỏi chấp nhận chung: sau thu hồi duyệt, trợ lý còn lấy được nội dung cũ không? Kiểm thử chỉ mục liên quan, đoạn dẫn xuất và cache câu trả lời thay vì chỉ xem thư mục nguồn.
Đối soát sau xóa bị gián đoạn
Giữ hồ sơ thu hồi đến khi trạng thái phía sau xác nhận. Nếu đối tượng nguồn xóa vĩnh viễn trước indexer thấy dấu xóa, hệ thống có thể mất tín hiệu đã dựa vào. Dùng vòng đời nhà cung cấp chọn hỗ trợ và xác minh trạng thái cuối.
Gồm biến đổi một-nhiều trong thiết kế. Một tài liệu có thể tạo nhiều đoạn hoặc hồ sơ. Đường xóa phải tính các đối tượng dẫn xuất. Xóa hàng metadata cha nhưng để con còn truy xuất không phải thu hồi chấp nhận.
Áp dụng đổi quyền tại lúc truy xuất
Nội dung mới vẫn có thể sai đối với người yêu cầu. Xác định nơi thực thi quyền người và tổ chức hiện tại. Chép quyền nguồn vào metadata một lần không chứng minh đổi thành viên sau tới ranh giới truy xuất.
Hướng dẫn phân quyền của OWASP khuyên kiểm tra truy cập mỗi yêu cầu. Áp dụng cho truy xuất và liên kết câu trả lời. Dẫn nguồn không nên lộ tiêu đề hoặc đoạn người dùng không được xem.
| Lớp truy xuất | Thay đổi cần thử | Câu hỏi chấp nhận |
|---|---|---|
| Bộ kết nối nguồn | Thành viên người hoặc nhóm đổi | Nạp có giữ phạm vi dự kiến? |
| Truy vấn tìm kiếm | Người mất quyền tài liệu | Tài liệu có bị loại khỏi kết quả? |
| Cache câu trả lời | Câu trước chứa văn bản hạn chế | Yêu cầu sau có nhận tiết lộ cache? |
| Liên kết nguồn | Vị trí nguồn đổi | Người đến đúng phiên bản được phép? |
Hướng dẫn trợ lý AI nội bộ của chúng tôi bao phủ quy trình nhân viên rộng hơn. Bảo trì độ mới cần khớp mô hình quyền đó thay tạo đường dữ liệu riêng có quyền rộng hơn.
Làm bằng chứng cũ rõ với người vận hành
Ghi phiên bản nguồn xác nhận cuối và điểm tiến trình nạp đạt. Tách lấy nguồn, trích, lập chỉ mục và xác thực truy xuất. Pipeline có thể lấy thành công nhưng lỗi lập chỉ mục bản sửa, nên một mốc lần chạy cuối có thể gây hiểu lầm.
Chọn cảnh báo theo kỳ vọng nguồn thống nhất. Tài liệu lưu trữ không đổi không cần báo động chỉ vì cũ. Cập nhật quy trình vận hành lỗi có thể cần điều tra dù chỉ mục vừa cập nhật thành công.
Cho người dùng trạng thái chưa chắc phù hợp khi không xác lập bằng chứng hiện tại. Có thể yêu cầu hỏi người phụ trách hoặc từ chối trả lời từ nguồn thu hồi. Tránh tự tin trình bày văn bản cũ chỉ vì có kết quả truy xuất.
Giữ ghi log tương xứng. Mã nguồn, phiên bản và kết quả pipeline hỗ trợ điều tra mà không chép mọi tài liệu mật vào hệ thống telemetry chung. Thống nhất riêng quyền và lưu giữ nội dung ghi lại.
Kiểm thử toàn bộ vòng đời bằng tài liệu kiểm soát
Tạo tập nhỏ kiểm soát có câu dễ nhận và phiên bản chủ động khác. Hỏi cùng câu liên quan trước và sau cập nhật, thu hồi hoặc đổi quyền. Xem bằng chứng truy xuất cùng câu trả lời cuối.
Gồm xử lý lỗi và chậm. Dừng cập nhật kiểm soát giữa giai đoạn rồi chứng minh hệ thống tiếp tục và đối soát. Thử đổi tên, thay và nguồn trùng bộ kết nối dự kiến hỗ trợ. Ghi quyết định danh tính mong đợi.
Hướng dẫn đánh giá tác nhân AI của chúng tôi giải thích tách câu trả lời hữu ích khỏi chứng minh kết quả chấp nhận. Ở đây chấp nhận gồm loại vật liệu truy xuất cũ và thực thi quyền hiện tại người yêu cầu, không chỉ văn bản nghe mới hơn.
Giữ tài liệu vòng đời làm ca hồi quy. Kiểm lại sau đổi trích, chia đoạn, chỉ mục hoặc cache. Mô hình truy xuất mới có thể cải thiện liên quan nhưng lộ vấn đề hồ sơ cũ từng ẩn.
So sửa chữa với thay pipeline
Bắt đầu tìm điểm gãy vòng đời. Thiếu xử lý xóa, danh tính không ổn định hoặc cache sai phạm vi có thể sửa có giới hạn. Cơ sở dữ liệu vector mới không sửa thẩm quyền nguồn mơ hồ hoặc nạp không bao giờ ghi thu hồi.
| Gói công việc | Sản phẩm | Yếu tố phạm vi |
|---|---|---|
| Kiểm toán vòng đời | Danh tính nguồn-chỉ mục và bản đồ lỗi | Số và hành vi bộ kết nối |
| Sửa cập nhật và xóa | Đổi trạng thái phía sau lặp được | Đoạn dẫn xuất và hợp đồng nhà cung cấp |
| Xác minh quyền | Bằng chứng truy xuất theo người hiện tại | Thành viên nguồn và thiết kế cache |
| Vận hành | Đối soát và cảnh báo có phụ trách | Kỳ vọng độ mới cần thiết |
| Bàn giao | Tài liệu kiểm thử vòng đời và hướng dẫn | Tần suất đổi nguồn và pipeline |
Yêu cầu đề xuất GBP gắn kết quả đó. Tách sửa ban đầu khỏi nạp, lưu, truy xuất và chi phí bảo trì. Giá chỉ theo số tài liệu có thể bỏ phần khó: giữ đúng tài liệu mới và được phép.
Thử nghiệm tích hợp AI có phạm vi của chúng tôi có thể bắt đầu ví dụ câu trả lời cũ và nguồn có thẩm quyền. Gửi chúng tôi cập nhật hoặc thu hồi trợ lý bỏ lỡ để trao đổi điều tra có giới hạn và sửa vòng đời chấp nhận.
Câu hỏi thường gặp
Độ mới dữ liệu RAG là gì? Đó là quan hệ giữa nội dung nguồn hiện tại được duyệt và bằng chứng có cho truy xuất, trả lời. Gồm cập nhật, thu hồi, đổi danh tính và quyền, không chỉ ngày nạp cuối.
Lập chỉ mục lại có tự xóa tài liệu đã xóa không? Không nhất thiết. Kiểm tra hành vi xóa hỗ trợ của bộ kết nối chọn và xác minh đoạn dẫn xuất cùng hồ sơ cha. Một số nền tảng cần chiến lược xóa rõ.
Có cần tạo embedding lại mọi tài liệu mỗi lần chạy không? Đây không phải là yêu cầu chung. Dùng danh tính nguồn ổn định và theo thay đổi khi phù hợp rồi đối soát trạng thái. Kết quả quan trọng là bằng chứng truy xuất mới, đầy đủ và được phép.
Hệ thống cần mới tới mức nào? Định nghĩa theo nguồn và hậu quả. Chỉ dẫn vận hành thu hồi có thể cần cách xử lý khác lưu trữ lịch sử. Nêu hành vi cập nhật mong đợi và dự phòng khi không đáp ứng.
Cache câu trả lời có tạo kết quả cũ không? Có. Chỉ mục hiện tại không tự vô hiệu cache trả lời cũ. Kiểm thử quan hệ cache với phiên bản nguồn, thu hồi và quyền người, gồm sau thu hồi truy cập.
Vì sao đổi tên tệp quan trọng? Có thể đổi danh tính hoặc vị trí bộ kết nối dùng. Nếu không hệ thống có thể tạo trùng hoặc mất ánh xạ đoạn trước. Định nghĩa đổi tên có giữ cùng hồ sơ nguồn và thử hành vi thật nhà cung cấp.
Có cần cơ sở dữ liệu vector mới không? Không tự động. Trước tìm lỗi vòng đời. Vấn đề cập nhật, xóa hoặc cache có giới hạn có thể sửa trong pipeline hiện tại. Thay cần lý do theo cùng yêu cầu độ mới và trách nhiệm.
Nhà cung cấp bảo trì cần bàn giao gì? Ánh xạ nguồn, quy tắc vòng đời, hướng dẫn đối soát, tài liệu hồi quy kiểm soát và bằng chứng thử cập nhật, thu hồi, quyền. Gồm giới hạn bộ kết nối biết và người phụ trách lỗi chưa giải quyết.