
Tin doanh nghiệp
Đăng ngày
Phân biệt câu trả lời từ tài liệu và phần suy luận của Knowledge AI
Knowledge AI cần cho người đọc biết rõ nội dung nào được tài liệu xác nhận, nội dung nào là phép tổng hợp hoặc suy luận. Cách làm đúng không phải gắn một nhãn chung cho cả câu trả lời, mà tách thành từng nhận định, nối nhận định với đoạn nguồn và chỉ cho phép phần suy luận xuất hiện khi có quy tắc, dữ kiện đầu vào và mức chắc chắn minh bạch. Nhờ đó, người dùng không nhầm một đề xuất của AI với quy định chính thức.
Tình huống nghiệp vụ
Một trưởng phòng hỏi: “Hồ sơ mua sắm này có thể trình phê duyệt trong tuần không?”. Kho tài liệu có quy trình quy định ba bước kiểm tra, lịch họp vào thứ Năm và biên bản cho biết hồ sơ còn thiếu báo giá. Câu trả lời “Hồ sơ phải qua ba bước” là thông tin từ tài liệu. Nhận định “nếu bổ sung báo giá trước thứ Ba thì có khả năng kịp cuộc họp thứ Năm” là suy luận dựa trên lịch và trạng thái hồ sơ. Hai phần hữu ích như nhau nhưng có bản chất khác nhau.
Giả sử dữ liệu mẫu cho thấy mỗi bước kiểm tra mất trung vị một ngày, 80% hồ sơ đầy đủ được xử lý trong ba ngày làm việc và hôm nay là thứ Hai. Hệ thống có thể ước tính khả năng kịp lịch, nhưng không được đổi 80% thành lời khẳng định chắc chắn. Nếu tài liệu không nói cuộc họp tuần này còn nhận hồ sơ, câu trả lời phải nêu điều kiện cần xác nhận thay vì tự điền khoảng trống.
Ba lớp nội dung cần tách
Lớp thứ nhất là trích xuất trực tiếp: tên biểu mẫu, thời hạn, người phê duyệt hoặc điều kiện được ghi rõ trong nguồn. Lớp thứ hai là tổng hợp có căn cứ, chẳng hạn ghép ba bước nằm ở ba mục khác nhau thành một quy trình liên tục. Lớp thứ ba là suy luận: dự báo thời gian, đề xuất ưu tiên hoặc kết luận từ nhiều dữ kiện. Tổng hợp vẫn phải giữ nguyên ý nghĩa của nguồn; suy luận phải chỉ ra giả định và không được trình bày như câu chữ của tài liệu.
Một câu có thể chứa cả ba lớp. “Theo Quy trình A, trưởng phòng ký bước hai; vì người này đang vắng mặt, hồ sơ có thể chậm một ngày” gồm một phần được xác nhận và một phần dự báo. Nếu hệ thống chỉ đặt một trích dẫn ở cuối câu, người đọc dễ tưởng dự báo cũng nằm trong quy trình. Vì vậy, nên tách thành hai câu hoặc hai khối hiển thị, mỗi khối có nhãn và bằng chứng riêng.
Quy trình tạo câu trả lời có kiểm soát
Trước hết, hệ thống xác định phạm vi câu hỏi, quyền truy cập và thời điểm áp dụng. Sau đó, công cụ truy xuất lấy các đoạn nguồn kèm mã tài liệu, phiên bản, ngày hiệu lực và vị trí trang. Bộ tạo câu trả lời lập danh sách các mệnh đề dự kiến trước khi viết thành văn. Mỗi mệnh đề được gắn một trong các trạng thái: được nguồn xác nhận, tổng hợp từ nhiều nguồn, suy luận có điều kiện hoặc chưa đủ bằng chứng.
Ở bước kiểm tra, hệ thống đối chiếu chủ thể, hành động, con số, thời gian và ngoại lệ của từng mệnh đề với nguồn. Mệnh đề “được xác nhận” nhưng thiếu điều kiện quan trọng phải hạ xuống “hỗ trợ một phần”. Mệnh đề suy luận phải ghi dữ kiện đầu vào và quy tắc suy ra. Nếu không thể mô tả quy tắc bằng ngôn ngữ dễ kiểm tra, phần đó nên bị loại hoặc chuyển thành câu hỏi cần người dùng bổ sung.
Cuối cùng, giao diện trình bày phần trả lời từ tài liệu trước, phần phân tích sau. Mỗi trích dẫn mở đúng đoạn liên quan thay vì chỉ mở trang đầu của tệp. Nhật ký lưu phiên bản nguồn, mệnh đề, nhãn, giả định và kết quả kiểm tra để người quản trị có thể tái hiện câu trả lời khi tài liệu thay đổi.
Ngoại lệ cần xử lý
Nguồn có thể mâu thuẫn. Một quy trình cũ nói phê duyệt trong ba ngày, còn thông báo mới nói năm ngày. Hệ thống phải ưu tiên văn bản còn hiệu lực theo quy tắc quản trị tài liệu và cảnh báo xung đột, không trung bình thành bốn ngày. Khi chưa xác định được hiệu lực, chỉ nên trình bày hai thông tin và đề nghị người có thẩm quyền xác nhận.
Bảng, sơ đồ và phụ lục cũng gây nhầm lẫn. Một con số nằm trong cột “mục tiêu” không được diễn giải thành kết quả thực tế. Một ví dụ trong tài liệu đào tạo không phải quy định bắt buộc. Với tài liệu scan, lỗi OCR có thể đổi “không quá 10 ngày” thành “không quá 70 ngày”; con số rủi ro cao cần kiểm tra ảnh gốc hoặc yêu cầu người dùng xác nhận.
Không phải suy luận nào cũng được phép. Hệ thống không nên tự kết luận trách nhiệm cá nhân, tình trạng tuân thủ hoặc quyền lợi pháp lý chỉ từ dấu hiệu gián tiếp. Trong trường hợp này, AI có thể liệt kê dữ kiện và tiêu chí cần đối chiếu, còn quyết định thuộc về người được phân quyền.
Tiêu chí kiểm tra chất lượng
Một bộ kiểm thử tốt cần đo tỷ lệ mệnh đề được gắn đúng lớp, tỷ lệ trích dẫn thực sự hỗ trợ nhận định và tỷ lệ suy luận nêu đủ giả định. Có thể chuẩn bị 100 câu hỏi mẫu, trong đó 30 câu chỉ cần trích xuất, 40 câu cần tổng hợp và 30 câu có suy luận. Chuyên gia nghiệp vụ gắn nhãn đáp án độc lập; hệ thống chỉ đạt khi không biến suy luận thành quy định và phát hiện được phần thiếu bằng chứng.
Câu hỏi thường gặp
Chỉ cần đặt câu “AI có thể sai” ở cuối có đủ không?
Không. Cảnh báo chung không cho biết phần nào là tài liệu, phần nào là suy luận. Nhãn phải đi cùng từng nhận định quan trọng.
Có nên cấm toàn bộ suy luận không?
Không nhất thiết. Suy luận giúp so sánh, dự báo và đề xuất hành động, nhưng cần giới hạn theo nghiệp vụ, nêu giả định và cho người dùng kiểm tra dữ kiện.
Khi nào nên yêu cầu con người xác nhận?
Khi nguồn mâu thuẫn, thiếu thông tin hiệu lực, kết luận ảnh hưởng quyền lợi hoặc mệnh đề rủi ro cao không có bằng chứng trực tiếp, hệ thống nên dừng ở mức hỗ trợ ra quyết định.