
Tin doanh nghiệp
Đăng ngày
Một trích dẫn tốt cho phép người đọc mở đúng tài liệu, đúng phiên bản và tìm được đoạn hỗ trợ khẳng định. Liên kết đến tài liệu đúng chủ đề vẫn có thể đi kèm câu trả lời sai.
Chuẩn bị bảng chấm
Mỗi câu hỏi cần câu trả lời kỳ vọng, vị trí bằng chứng và phạm vi quyền. Khi trợ lý trả lời, tách các khẳng định cần kiểm chứng. Với từng khẳng định, đánh dấu đoạn trích hỗ trợ trực tiếp, hỗ trợ một phần, mâu thuẫn hoặc thiếu căn cứ. Dùng nhóm câu hỏi không có đáp án để thử khả năng báo thiếu căn cứ.
Ví dụ với quy trình mẫu
Tài liệu mẫu quy định nhân viên nộp đề nghị trước ngày họp hai ngày làm việc và trưởng nhóm duyệt. Trợ lý trả lời đúng người duyệt nhưng nói hai ngày theo lịch. Ghi riêng một khẳng định đúng và một khẳng định sai. Nếu đoạn trích cắt mất chữ “làm việc”, thử sửa cách tách đoạn. Nếu đoạn trích đầy đủ mà câu trả lời vẫn sai, kiểm tra cách hệ thống tổng hợp.
Đo kết quả
Ví dụ mẫu: 18 trong 24 khẳng định có bằng chứng đầy đủ, tỷ lệ 75%. Theo dõi thêm tỷ lệ câu có đáp án nhưng trợ lý từ chối, để tránh cải thiện tỷ lệ trích dẫn bằng cách trả lời quá ít. Báo cáo riêng câu hỏi cần nhiều nguồn và câu có phiên bản cũ gây nhiễu.
Chọn đơn vị chấm và khóa phiên bản nguồn
Chấm từng khẳng định có thể đối chiếu, chẳng hạn điều kiện, thời hạn, biểu mẫu hoặc người phê duyệt. Một câu trả lời có thể chứa nhiều khẳng định và mỗi khẳng định có thể cần nhiều đoạn bằng chứng. Chỉ tính đạt khi các đoạn được dẫn, đọc cùng nhau, hỗ trợ đủ nội dung và phạm vi. Nếu một đoạn cho biết thời hạn, đoạn khác nêu ngoại lệ áp dụng cho đúng trường hợp, bài chấm phải kiểm tra cả hai.
Mỗi mục thử nên lưu mã câu hỏi, vai trò người dùng, ngày giả định, tài liệu kỳ vọng, phiên bản, mục hoặc trang và phần bằng chứng. Với nguồn cập nhật theo thời gian, chọn ngày khóa bộ tài liệu để lần thử sau tái hiện được dữ liệu. Tài liệu mới có thể làm thay đổi đáp án hợp lệ. Ghi lại lần thay đổi và cập nhật đáp án kỳ vọng trước khi so hai phiên bản hệ thống.
Lập bộ câu hỏi theo các lỗi dễ lọt
Bộ mẫu có thể gồm câu hỏi tra một đoạn rõ ràng, câu cần kết hợp hai mục, câu chứa từ viết tắt, câu yêu cầu áp dụng ngoại lệ và câu không có đáp án trong phạm vi quyền. Tạo thêm vài câu dễ kéo nhầm biểu mẫu cũ vì tiêu đề giống nhau. Điều quan trọng là mẫu phản ánh việc thật người dùng sẽ hỏi. Chẳng hạn, câu “Ai ký?” thiếu thông tin về loại đề nghị có thể cần hỏi lại trước khi chọn tài liệu.
Trong ví dụ quy trình mẫu, thêm một phụ lục chỉ áp dụng cho đề nghị họp khẩn. Hỏi hai câu giống nhau về thời hạn nhưng đổi loại cuộc họp. Câu hỏi thường phải dẫn đúng phần có “hai ngày làm việc”. Câu hỏi khẩn phải dẫn điều kiện ngoại lệ nếu có trong tài liệu mẫu. Nếu đoạn dẫn có tên biểu mẫu nhưng không nói hạn, ghi là thiếu căn cứ cho phần thời hạn. Dùng tài liệu hư cấu trong kịch bản thử để có thể chia sẻ biên bản đánh giá nội bộ mà không kèm hồ sơ thật.
Diễn giải số liệu bằng hai mẫu số
Bên cạnh tỷ lệ khẳng định được hỗ trợ, nên đo tỷ lệ trả lời đạt theo câu hỏi. Giả sử bộ dữ liệu mẫu có 20 câu có đáp án, hệ thống trả lời 16 câu, trong đó 13 câu đúng và có đủ bằng chứng cho mọi ý quan trọng. Khi đó, 13 trên 20 câu có đáp án đạt chuẩn, tức 65%. Có bốn câu bị từ chối dù có căn cứ. Ba câu còn lại đã có phản hồi nhưng chưa đạt. Tỷ lệ theo khẳng định có thể vẫn cao do một số câu đúng chứa nhiều ý. Hai cách đo giúp xác định lỗi tập trung vào độ bao phủ hay độ chính xác.
Chấm riêng câu hỏi không có đáp án để đánh giá khả năng biết dừng. Nếu 8 trong 10 câu thuộc nhóm này được phản hồi đúng là thiếu căn cứ, ghi 80% cho nhóm dữ liệu mẫu. Hai câu còn lại cần đọc lại để xem trợ lý đã đoán theo kiến thức chung hay dùng nhầm đoạn. Với nhóm bắt buộc hỏi lại, tiêu chí đạt là hỏi đúng thông tin còn thiếu. Trả lời thẳng bằng một giả định ngầm cần ghi lỗi phạm vi.
Khoanh vị trí lỗi và chốt cách nghiệm thu
Khi một trích dẫn không đạt, xác định đoạn đúng có được lấy lên trong kết quả truy xuất hay không. Nếu không có, kiểm tra cách trích xuất văn bản, tách đoạn, đánh chỉ mục và lọc theo phiên bản. Nếu có nhưng trợ lý dẫn đoạn khác, kiểm tra bước chọn bằng chứng. Nếu dẫn đúng đoạn mà kết luận sai, kiểm tra cách tổng hợp câu trả lời. Với liên kết mở sai mục hoặc bị lỗi, kiểm tra riêng đường dẫn và ánh xạ vị trí. Mỗi kiểu lỗi cần một phép thử lại tương ứng.
Để giảm khác biệt giữa người chấm, chọn một nhóm câu hỏi và cho hai người đánh giá độc lập. Khi bất đồng, ghi lý do và thống nhất thế nào là hỗ trợ trực tiếp hoặc hỗ trợ một phần trước khi chấm toàn bộ. Với tài khoản thử bị giới hạn quyền, kiểm tra rằng phần phản hồi, cả tên tài liệu và đoạn trích, nằm trong phạm vi truy cập của vai trò đó. Cuối cùng, so kết quả theo từng nhóm câu hỏi, ghi lỗi nghiêm trọng riêng và chạy lại bộ mẫu sau khi sửa. Khi báo cáo, kèm kích thước mẫu và phiên bản tài liệu để người đọc biết phép đo có phạm vi đến đâu.
Đọc thêm Vì sao AI doanh nghiệp cần dẫn nguồn khi trả lời?.
Xem phạm vi triển khai và tình huống minh họa trên trang BMB Knowledge AI.