Chuyển đến nội dung chính

Đánh giá câu trả lời của Knowledge AI khi bằng chứng chưa đủ

Cách kiểm tra độ phủ mệnh đề, hiệu lực nguồn, mâu thuẫn và giới hạn câu trả lời khi tài liệu chưa đủ căn cứ.

Sơ đồ phân rã câu hỏi, kiểm tra bằng chứng và quyết định trả lời của BMB Knowledge AI

Đăng ngày

Đánh giá câu trả lời của Knowledge AI khi bằng chứng chưa đủ

Knowledge AI không nên trả lời chắc chắn khi tài liệu truy xuất chưa đủ để chứng minh kết luận. Hệ thống cần đánh giá độ phủ của bằng chứng, mức nhất quán giữa các nguồn, hiệu lực tài liệu và khoảng cách giữa nội dung trích dẫn với câu trả lời. Khi không đạt ngưỡng, phản hồi phù hợp là nêu phần đã xác minh, phần còn thiếu và hướng tra cứu tiếp theo, thay vì suy đoán.

Thế nào là “đủ bằng chứng”?

Bằng chứng đủ không đồng nghĩa có nhiều đoạn trích. Một đoạn đúng và trực tiếp có thể tốt hơn năm đoạn chỉ liên quan từ khóa. Đối với câu hỏi có nhiều điều kiện, tài liệu phải bao phủ từng điều kiện quan trọng. Câu trả lời về thẩm quyền, thời hạn và thành phần hồ sơ chẳng hạn cần chứng cứ cho cả ba phần, không thể lấy một đoạn nói chung về quy trình để suy ra phần còn lại.

Độ tin cậy còn phụ thuộc nguồn và thời điểm. Tài liệu nội bộ đã hết hiệu lực không nên được dùng như quy định hiện hành. Bản dự thảo, tài liệu hướng dẫn và quyết định chính thức có vai trò khác nhau. Hệ thống phải biết loại tài liệu, phiên bản, ngày hiệu lực và phạm vi áp dụng trước khi tổng hợp.

Quy trình đánh giá trước khi sinh câu trả lời

Bước đầu, hệ thống phân rã câu hỏi thành các mệnh đề cần chứng minh. Tiếp theo, bộ truy xuất tìm đoạn liên quan và giữ thông tin tài liệu gốc, trang, phiên bản, quyền truy cập. Mỗi đoạn được chấm theo mức liên quan trực tiếp, độ mới, thẩm quyền nguồn và khả năng hỗ trợ mệnh đề.

Sau đó, hệ thống lập ma trận bằng chứng. Mỗi hàng là một mệnh đề, mỗi cột là một nguồn. Mệnh đề chưa có đoạn hỗ trợ được đánh dấu thiếu; mệnh đề có hai nguồn mâu thuẫn được đánh dấu cần phân giải. Chỉ những mệnh đề vượt ngưỡng mới được diễn đạt như kết luận.

Cuối cùng, bộ kiểm tra so sánh từng câu trả lời với đoạn dẫn. Nếu câu trả lời thêm con số, điều kiện hoặc khuyến nghị không có trong nguồn, phần đó phải bị loại hoặc chuyển thành câu hỏi cần xác minh. Cách kiểm tra theo từng mệnh đề giúp phát hiện tình trạng đoạn trích đúng nhưng kết luận rộng hơn tài liệu.

Ví dụ với dữ liệu mẫu

Giả sử người dùng hỏi: “Hồ sơ đề nghị mua sắm thiết bị có cần ba báo giá và ai phê duyệt?”. Kho tri thức mẫu tìm thấy một quy trình nội bộ nêu thành phần hồ sơ có báo giá, nhưng không ghi số lượng; một hướng dẫn cũ nói ba báo giá; và một quyết định hiện hành chỉ xác định người phê duyệt theo hạn mức.

Hệ thống không nên trả lời “cần ba báo giá và giám đốc phê duyệt”. Ma trận bằng chứng cho thấy số lượng báo giá chỉ có trong tài liệu cũ; người phê duyệt phụ thuộc hạn mức chưa được người dùng cung cấp. Câu trả lời an toàn là: hồ sơ có yêu cầu báo giá theo quy trình hiện hành; chưa đủ căn cứ xác nhận số lượng; thẩm quyền phê duyệt cần đối chiếu giá trị đề nghị với bảng hạn mức. Phản hồi kèm ba trích dẫn và đề nghị người dùng cung cấp giá trị dự toán.

Ví dụ dùng dữ liệu giả định để minh họa kiểm soát, không phải tư vấn cho một hồ sơ thực tế. BMB Knowledge AI có thể được cấu hình để áp dụng ngưỡng và loại nguồn phù hợp với kho tài liệu của doanh nghiệp.

Thang điểm không nên chỉ có một con số

Một điểm tổng hợp duy nhất dễ che khuất lý do câu trả lời yếu. Nên tách ít nhất bốn thành phần: độ liên quan, độ phủ mệnh đề, chất lượng nguồn và tính nhất quán. Một câu có độ liên quan cao nhưng chỉ bao phủ một nửa câu hỏi vẫn chưa đủ để trả lời toàn bộ.

Ngưỡng cũng phụ thuộc rủi ro. Câu hỏi tìm vị trí biểu mẫu có thể chấp nhận một nguồn phù hợp. Câu hỏi về phê duyệt, tài chính hoặc quyền truy cập nên yêu cầu nguồn chính thức và hiệu lực rõ. Nếu không đạt ngưỡng cao, hệ thống chuyển sang chế độ hỗ trợ tra cứu, không đưa ra kết luận cuối.

Xử lý các dạng thiếu bằng chứng

Nếu không tìm thấy tài liệu, hệ thống nói rõ phạm vi đã tìm và không tạo câu trả lời từ kiến thức chung khi chính sách yêu cầu chỉ dùng kho nội bộ. Nếu có tài liệu nhưng thiếu một điều kiện, phản hồi phần đã có căn cứ và hỏi bổ sung. Nếu nguồn mâu thuẫn, ưu tiên quy tắc đã cấu hình về hiệu lực và thẩm quyền; khi vẫn chưa phân giải được, trình bày mâu thuẫn cho người có trách nhiệm.

Nếu tài liệu bị hạn chế quyền, hệ thống không được tiết lộ nội dung qua câu trả lời. Có thể thông báo rằng tồn tại nguồn liên quan nhưng người dùng không có quyền xem, đồng thời chỉ dẫn quy trình xin quyền nếu được phép. Việc “biết có tài liệu” cũng có thể nhạy cảm, nên chính sách phải quy định mức thông báo.

Kiểm thử bằng bộ câu hỏi đối chứng

Bộ kiểm thử nên có câu hỏi đủ nguồn, thiếu một điều kiện, nguồn hết hiệu lực, nguồn mâu thuẫn, người dùng thiếu quyền và câu hỏi không thuộc phạm vi. Mỗi câu có danh sách mệnh đề kỳ vọng, nguồn được phép và hành vi mong muốn: trả lời, hỏi lại hoặc từ chối kết luận.

Một câu trả lời đạt yêu cầu khi mọi kết luận quan trọng có trích dẫn truy cập được; trích dẫn chứa đúng nội dung hỗ trợ; tài liệu còn hiệu lực theo metadata; và phần chưa chắc chắn được diễn đạt rõ. Việc kiểm tra nên thực hiện lại sau khi thay mô hình, bộ truy xuất hoặc quy tắc xếp hạng.

Câu hỏi thường gặp

Có nên hiển thị phần trăm độ tin cậy cho người dùng?

Có thể, nhưng cần giải thích ý nghĩa và các thành phần. Một con số 82% không hữu ích nếu người dùng không biết thiếu nguồn hay có mâu thuẫn.

Nhiều trích dẫn có làm câu trả lời đáng tin hơn không?

Không nhất thiết. Chất lượng, hiệu lực và mức hỗ trợ trực tiếp quan trọng hơn số lượng. Nhiều đoạn lặp lại cùng nguồn không làm tăng độ phủ.

Người dùng có thể yêu cầu AI vẫn trả lời khi thiếu bằng chứng không?

Có thể cho phép chế độ gợi ý nếu chính sách chấp nhận, nhưng phải gắn nhãn rõ và tách khỏi câu trả lời dựa trên tài liệu. Với nghiệp vụ rủi ro cao, hệ thống nên giữ giới hạn bắt buộc.

Nguồn tham khảo