
Tin doanh nghiệp
Đăng ngày
Hãy kiểm thử xem trợ lý AI có nhận ra địa bàn còn thiếu trước khi chọn tài liệu hay không. Nếu địa bàn có thể làm thay đổi câu trả lời và chưa được xác định từ ngữ cảnh hợp lệ, trợ lý cần hỏi một câu ngắn để làm rõ. Nếu người dùng đã cung cấp địa bàn nhưng kho tài liệu thiếu nguồn áp dụng, phản hồi cần chỉ rõ phần căn cứ còn thiếu. Bộ kiểm thử nên đánh giá cả lượt hỏi ban đầu lẫn lượt trả lời sau khi người dùng bổ sung thông tin.
Dựng bộ tài liệu mẫu có phạm vi rõ ràng
Tạo ba hướng dẫn giả lập cho cùng một việc, chẳng hạn nơi tiếp nhận đề nghị cấp quyền vào hệ thống nội bộ. Hướng dẫn A quy định đầu mối là bộ phận tổng hợp. Hướng dẫn B quy định đầu mối là tổ hỗ trợ nghiệp vụ. Với địa bàn C, kho thử nghiệm chưa có tài liệu tương ứng. Ghi mã tài liệu, phiên bản, thời gian áp dụng, phạm vi sử dụng và đoạn chứa đầu mối. Các tên địa bàn, ngày tháng và đầu mối trong bộ kiểm thử đều là dữ liệu mẫu.
Bổ sung một tài liệu dùng chung có đoạn nói về thông tin cần chuẩn bị, ví dụ mã đơn vị và nội dung yêu cầu. Điều này cho phép kiểm tra trường hợp trợ lý có thể trả lời phần áp dụng chung và đặt câu hỏi riêng về nơi tiếp nhận. Sau đó thêm một bản cũ của hướng dẫn B có đầu mối khác, với ngày kết thúc áp dụng rõ ràng. Bản cũ tạo tình huống kiểm tra khả năng lọc theo thời điểm khi hai tài liệu có tiêu đề gần giống nhau.
Viết kịch bản từ câu hỏi đến đoạn nguồn
Với câu “Tôi cần gửi đề nghị cấp quyền đến đâu?”, kỳ vọng trợ lý hỏi người dùng đang thực hiện cho địa bàn hoặc đơn vị nào. Khi người dùng trả lời “địa bàn B”, trợ lý cần chỉ ra tổ hỗ trợ nghiệp vụ và dẫn đến đoạn tương ứng của hướng dẫn B. Lưu nguyên hội thoại của cả hai lượt. Việc kiểm tra riêng câu trả lời thứ hai dễ bỏ sót tình huống trợ lý đã nêu đầu mối theo suy đoán ở lượt đầu.
Trong ca hỏi đủ thông tin, người dùng nêu ngay “Tại địa bàn B, đề nghị cấp quyền gửi về đâu?”. Kỳ vọng trợ lý trả lời trực tiếp và dẫn đúng nguồn. Với một ca khác, người dùng nói “Tôi làm tại A nhưng đang hỗ trợ hồ sơ của đơn vị tại B”. Trong tập dữ liệu mẫu, địa bàn của đơn vị được hỗ trợ là căn cứ chọn nguồn. Ca này phát hiện lỗi lấy địa chỉ công tác của người hỏi làm phạm vi áp dụng. Nếu câu hỏi chỉ dùng tên viết tắt có thể chỉ cả A lẫn B, trợ lý cần yêu cầu xác nhận tên đầy đủ.
Với địa bàn C, hãy chấm đạt khi trợ lý nêu rằng kho hiện chưa có hướng dẫn áp dụng để xác định đầu mối. Nếu tài liệu dùng chung có quy định chuẩn bị thông tin, có thể cung cấp phần đó và ghi phạm vi nguồn rõ ràng. Khi trợ lý đã trả lời cho B rồi người dùng sửa thành A, chạy thêm một lượt để xem hệ thống có đổi sang đoạn nguồn của A và sửa nội dung theo địa bàn mới hay không.
Chấm theo hành vi có thể kiểm chứng
Mỗi ca kiểm thử nên có câu hỏi hoặc chuỗi câu hỏi, tập tài liệu được truy cập, câu hỏi làm rõ kỳ vọng, tài liệu và đoạn trích kỳ vọng, thời điểm áp dụng, cùng phản hồi thực tế. Chấm riêng khả năng xác định phạm vi, chọn phiên bản, truy xuất đúng đoạn và xử lý thiếu nguồn. Cách chia này giúp phân biệt lỗi tìm kiếm với lỗi trả lời. Trợ lý có thể tìm đúng hướng dẫn B nhưng vẫn ghi sai địa chỉ nếu đọc nhầm đoạn dành cho một quy trình khác.
Ví dụ trong 12 ca thử, 10 ca chọn đúng phạm vi và 9 ca dẫn đúng đoạn. Đội thử nghiệm cần xem hai nhóm lỗi riêng rồi truy ngược từng ca đến tài liệu. Một ca dẫn sai bản đã hết hiệu lực cần được ghi rõ, dù câu trả lời nghe hợp lý. Với các trường hợp có thể khiến người dùng gửi nhầm đầu mối, quy định rõ đây là lỗi phải sửa trước khi dùng bộ câu hỏi đó trong thực tế.
Kiểm tra lại khi cập nhật kho tài liệu
Khi thêm hướng dẫn mới cho C, chạy lại ca trước đây có trạng thái thiếu nguồn và kiểm tra trợ lý đã chuyển sang trả lời có dẫn chiếu. Sau đó chạy lại các ca A và B để xem tài liệu mới có bị chọn nhầm hay không. Ghi phiên bản kho, thời điểm kiểm thử và tài liệu đã thay thế. Nếu hướng dẫn B mới có hiệu lực từ tháng sau, thử một câu hỏi cho kỳ hiện tại và một câu hỏi có ngày sau mốc hiệu lực. Hai câu có thể cần trích hai phiên bản khác nhau.
Khi nào có thể dùng địa bàn từ ngữ cảnh có sẵn?
Nếu hệ thống đã có phạm vi hồ sơ được xác định rõ và được phép dùng cho câu hỏi hiện tại, hãy thử ca trả lời theo phạm vi đó và nêu nó trong câu trả lời. Thử thêm ca người dùng hỏi giúp một địa bàn khác để kiểm tra khả năng ưu tiên thông tin người dùng đã làm rõ. Khi ngữ cảnh và câu hỏi mâu thuẫn mà chưa xác định được phạm vi, một câu hỏi ngắn giúp người dùng xác nhận trước khi trợ lý chọn nguồn.
Xem phạm vi triển khai và tình huống minh họa trên trang Trợ lý AI cho cán bộ, công chức BMB.