AI knowledge governance là gì?
AI knowledge governance là lớp kiểm soát vận hành xác định tri thức nào AI assistant được phép coi là nguồn có thẩm quyền, ai chịu trách nhiệm với nguồn đó, provenance được ghi thế nào, khi nào nội dung cần review hoặc hết hạn, và hệ thống phải phản ứng ra sao khi nguồn thiếu, cũ hoặc xung đột.
Nó không đồng nghĩa với RAG. RAG là một cơ chế retrieval để đưa context liên quan vào quá trình sinh câu trả lời. Governance quyết định nguồn nào được đưa vào retrieval, ở trạng thái nào, với quyền nào và có còn đủ điều kiện sử dụng hay không.
Bắt đầu từ source registry thay vì ném mọi tài liệu vào vector store
Một hệ thống knowledge tốt nên có registry cho từng nguồn hoặc collection. D2 khuyến nghị tối thiểu lưu: source ID ổn định; loại nguồn; owner; canonical location hoặc system of record; scope người dùng/use case; trạng thái review/phê duyệt; ngày cập nhật và ngày cần kiểm tra lại; provenance; quyền truy cập; version hoặc revision có thể truy vết.
Vector database, search index hay embedding store chỉ là lớp phục vụ retrieval. Chúng không nên tự trở thành source of truth chỉ vì AI đọc từ đó nhanh hơn.
Phân cấp nguồn có thẩm quyền
Không phải mọi nguồn đều có trọng lượng như nhau. Một policy thực dụng có thể phân nguồn thành các lớp như authoritative, approved supporting, reference-only và blocked/retired. Tên trạng thái có thể khác theo doanh nghiệp, nhưng ranking giữa các nguồn phải rõ khi chúng mâu thuẫn.
Ví dụ, một chính sách đã được phê duyệt không nên bị ghi đè bởi một đoạn chat cũ chỉ vì đoạn chat có embedding similarity cao hơn. Retrieval score đo mức liên quan; nó không tự chứng minh mức độ có thẩm quyền.
Ownership và approval state
Mỗi vùng knowledge quan trọng cần có owner. Owner không nhất thiết tự viết mọi nội dung, nhưng phải có quyền xác nhận nguồn nào đang có hiệu lực và chịu trách nhiệm khi thay đổi.
Một lifecycle có thể dùng các state: draft, reviewed, approved/published, stale, expired/withdrawn, archived. Điều quan trọng là AI pipeline phải đọc được state này thay vì chỉ biết document tồn tại.
- draft: chưa được phép dùng cho câu trả lời production;
- reviewed: đã kiểm tra nhưng chưa chắc publish cho mọi audience;
- approved/published: đủ điều kiện cho scope đã khai báo;
- stale: quá freshness window hoặc có tín hiệu cần review;
- expired/withdrawn: không còn được dùng làm evidence active;
- archived: giữ lịch sử/audit nhưng không tham gia retrieval production.
Provenance: context đến từ đâu?
Provenance giúp nối một chunk hoặc fact về lại nguồn gốc có thể kiểm tra. Metadata có thể gồm source ID, canonical URL, document version, owner, market/locale, approved_at, valid_from/valid_until và access scope.
Khi câu trả lời quan trọng không thể truy về một nguồn đủ điều kiện, hệ thống nên coi đó là evidence gap chứ không tự bù bằng suy đoán. Với tác vụ phù hợp, evidence gap có thể dẫn đến câu trả lời có giới hạn hoặc human handoff.
Freshness và expiry phải là control
updated_at chỉ cho biết record đã thay đổi lúc nào; nó không nói nội dung còn đúng đến bao giờ. Governance cần rule freshness theo loại knowledge.
Nội dung thay đổi nhanh có thể cần review thường xuyên hơn nội dung nền tảng. Khi hết freshness window, hệ thống có thể loại khỏi retrieval, hạ mức ưu tiên, gắn cảnh báo, yêu cầu owner review hoặc chỉ dùng như historical context. Policy nào được chọn phải nhất quán và có thể audit.
Retrieval boundary và publication boundary là hai việc khác nhau
Một tài liệu có thể được phép lưu trong hệ thống nhưng không được phép đưa vào mọi câu trả lời. Access control nên được áp dụng trước hoặc trong retrieval, không chỉ sau khi model đã nhìn thấy nội dung.
D2 tách rõ bốn boundary: storage — dữ liệu được lưu ở đâu; retrieval — assistant/user nào được lấy context; generation — model được phép dùng context cho loại tác vụ nào; publication/action — output nào được gửi ra ngoài hoặc tạo side effect.
Xử lý khi hai nguồn mâu thuẫn
Không nên để model tự chọn nguồn “có vẻ hợp lý”. Conflict resolution nên deterministic ở lớp governance khi có thể: ưu tiên source authority cao hơn; ưu tiên version active trong cùng source family; ưu tiên scope đúng market/locale/use case; nếu vẫn không giải quyết được thì đánh dấu conflict và chuyển owner review; giữ provenance để người review biết vì sao conflict xảy ra.
Một unresolved conflict là một trạng thái hợp lệ. Nó tốt hơn một câu trả lời trôi chảy nhưng không có căn cứ chọn nguồn.
Update, rollback và cache invalidation
Khi source-of-truth thay đổi, pipeline cần biết artefact nào phải cập nhật: search index, embeddings, derived summary, cache và answer template liên quan. Update nên có version và correlation ID để xác định lần ingest nào tạo ra trạng thái hiện tại.
Rollback cũng cần được thiết kế trước. Nếu revision mới sai, hệ thống phải có khả năng đưa revision trước trở lại active và invalidate các lớp derived data không còn hợp lệ. Chỉ khôi phục file gốc nhưng để vector index hoặc cached answer cũ tiếp tục chạy sẽ tạo trạng thái không đồng nhất.
Khi evidence thiếu hoặc stale, AI phải làm gì?
D2 không khuyến nghị biến “không có nguồn” thành “hãy đoán câu trả lời”. Fallback có thể là: nói rõ chưa có evidence đủ điều kiện; hỏi thêm context; giới hạn câu trả lời vào phần đã kiểm chứng; route sang source có authority phù hợp; tạo review task cho owner; hoặc human handoff nếu người dùng cần quyết định mà AI không có basis đủ tốt.
Knowledge governance nên đo gì?
Các metric sau là định nghĩa health của control plane, không phải cam kết kết quả kinh doanh: tỷ lệ source có owner/review state; tỷ lệ source hoặc chunk quá freshness window; số conflict chưa giải quyết; số retrieval bị chặn vì permission/stale; số answer path phải fallback vì thiếu evidence; thời gian từ source update đến khi derived index đồng bộ; số rollback/invalidation chưa hoàn tất.
Những metric này không tự chứng minh độ chính xác tổng thể của AI; accuracy vẫn cần evaluation ở cấp use case.
Checklist governance trước production
Xác nhận source registry có owner; authoritative source được định danh; approval state machine-readable; provenance đi cùng retrieval unit; access scope được enforce; freshness/expiry có rule; conflict không bị model tự giải quyết mù; update có version; rollback/invalidation có đường thực thi; evidence gap có fallback; và RAG evaluation tách riêng khỏi governance state.