Phần 01
Source registry
Tài liệu được phép dùng nên có loại, owner, version, effective date, confidentiality và trạng thái active. Một PDF cũ không nên tiếp tục được retrieve chỉ vì còn nằm trong storage.
- Owner
- Version
- Effective date
- Access level
- Active/archive status
Phần 02
Retrieval và answer contract
Chunking, metadata và ranking quyết định model nhìn thấy gì. Answer contract quyết định model được phép kết luận gì, khi nào cần dẫn nguồn và khi nào phải từ chối hoặc chuyển người.
Nên tách factual answer, recommendation và action-taking vì mỗi loại có mức rủi ro khác nhau.
- Retrieve relevant source
- Validate scope
- Cite when useful
- Escalate uncertainty
Phần 03
Evaluation và observability
Evaluation set nên gồm câu hỏi phổ biến, câu hỏi dễ nhầm, nội dung đã thay đổi và tình huống ngoài phạm vi. Log cần giúp biết model dùng nguồn nào, thất bại ở retrieval hay reasoning và câu hỏi nào đang thiếu content.
- Golden questions
- Adversarial questions
- Source freshness tests
- Human review sample