Chuyển đến nội dung chính

Đo lường tỷ lệ thành công theo bước của agent như thế nào?

Cách chuẩn hóa trạng thái, mẫu số và sự kiện để tìm đúng bước làm suy giảm chất lượng của một luồng agent nhiều công cụ.

Sơ đồ đo tỷ lệ thành công theo từng bước trong luồng BMB Agent Studio

Đăng ngày

Vì sao cần đo tỷ lệ thành công theo từng bước của agent?

Đo tỷ lệ thành công chung của cả phiên chưa đủ để biết agent hỏng ở đâu. Một luồng có thể chỉ hoàn tất 70% vì bước tra cứu dữ liệu, kiểm tra quyền hoặc ghi kết quả đều có vấn đề khác nhau. Bằng cách đo số lần bắt đầu, hoàn tất, thất bại, bị bỏ qua và được thử lại ở từng bước, nhóm vận hành xác định đúng nút thắt, so sánh phiên bản và tránh tối ưu theo cảm giác.

Ví dụ nghiệp vụ với dữ liệu mẫu

Giả sử agent xử lý yêu cầu cấp lại quyền truy cập qua sáu bước: hiểu yêu cầu, xác minh người dùng, tìm tài khoản, kiểm tra chính sách, tạo đề xuất và gửi phê duyệt. Trong 1.000 phiên dữ liệu mẫu, 980 phiên hiểu được yêu cầu, 930 phiên xác minh thành công, 900 phiên tìm thấy tài khoản, 860 phiên vượt kiểm tra chính sách, 850 phiên tạo được đề xuất và 800 phiên gửi phê duyệt thành công.

Nếu chỉ nhìn tỷ lệ cuối là 80%, nhóm phát triển biết có 200 phiên chưa hoàn tất nhưng không biết nên sửa thành phần nào. Tính theo đầu vào của từng bước cho thấy xác minh đạt khoảng 94,9%, tìm tài khoản đạt 96,8%, kiểm tra chính sách đạt 95,6%, tạo đề xuất đạt 98,8% và gửi phê duyệt đạt 94,1%. Bước cuối có tỷ lệ giảm mạnh nhất theo điều kiện đã vào bước, nhưng số phiên mất nhiều nhất có thể nằm ở bước xác minh. Hai góc nhìn trả lời hai câu hỏi khác nhau.

Chuẩn hóa vòng đời và mẫu số

Trước khi tính tỷ lệ, nhóm thiết kế cần thống nhất trạng thái. “Bắt đầu” nghĩa là bộ điều phối đã giao bước cho worker, không phải mới lập kế hoạch. “Thành công” nghĩa là đầu ra vượt kiểm tra chất lượng và được chấp nhận vào trạng thái phiên. “Thất bại” gồm lỗi kỹ thuật hoặc kết quả nghiệp vụ không đạt. “Bị bỏ qua” là nhánh không cần chạy, còn “bị hủy” là đã bắt đầu nhưng dừng theo yêu cầu hoặc chính sách.

Mẫu số cơ bản của tỷ lệ thành công bước là số lần bước thực sự bắt đầu. Tuy nhiên, cần thêm tỷ lệ tiếp cận bước trên tổng phiên đủ điều kiện. Nếu một lỗi ở bước trước khiến ít phiên tới bước sau, tỷ lệ thành công của bước sau có thể vẫn đẹp nhưng toàn luồng suy giảm. Báo cáo nên hiển thị cả số tuyệt đối, vì 100% trên ba lần chạy không đáng tin như 99% trên mười nghìn lần.

Thu thập sự kiện mà không làm sai dữ liệu

Mỗi sự kiện nên có mã duy nhất, thời điểm, step_id ổn định, attempt, trạng thái, thời lượng, mã lý do và phiên bản cấu hình. Step_id không nên lấy từ nhãn hiển thị vì nhãn có thể đổi. Một trace_id nối toàn phiên, còn correlation_id nối lần gọi với công cụ. Dữ liệu đầu vào nhạy cảm không cần đưa vào sự kiện; có thể dùng phân loại, kích thước hoặc mã lỗi đã chuẩn hóa.

Phân tích để tìm đúng nguyên nhân

Tỷ lệ theo bước nên được cắt theo những chiều có ý nghĩa nhưng vẫn bảo vệ riêng tư, chẳng hạn loại yêu cầu, kênh vào, phiên bản agent, công cụ, khung giờ và nhóm lỗi. Nếu bước tìm tài khoản đạt 99% với hệ thống A nhưng 82% với hệ thống B, nguyên nhân có thể nằm ở tích hợp chứ không phải khả năng hiểu của agent. Không nên chia quá nhỏ đến mức mỗi nhóm chỉ có vài phiên.

Ngoài tỷ lệ, cần xem thời lượng, số lần thử và chất lượng đầu ra. Một phiên bản mới có thể tăng tỷ lệ thành công từ 90% lên 94% nhưng thời gian phân vị 95 tăng gấp ba và chi phí tăng 50%. Quyết định phát hành phải cân bằng hiệu quả, độ trễ, chi phí và rủi ro. Với bước có người phê duyệt, thời gian chờ con người nên tách khỏi thời gian xử lý máy.

Ngoại lệ và bẫy diễn giải

Luồng phân nhánh khiến một số bước không chạy ở mọi phiên. Tỷ lệ của bước chỉ nên tính trên phiên đủ điều kiện vào nhánh, trong khi tỷ lệ toàn hành trình tính trên toàn bộ tập mục tiêu. Nếu trộn “bị bỏ qua hợp lệ” với thất bại, phiên đơn giản sẽ làm chỉ số xấu giả tạo.

Tiêu chí kiểm tra chỉ số

Trước khi dùng dashboard, hãy chạy một tập gồm các phiên thành công, lỗi ở từng bước, retry, hủy và nhánh bỏ qua đã biết trước. Tổng số trạng thái của mỗi bước phải khớp số lần bắt đầu sau khi khử trùng. Mọi sự kiện kết thúc phải nối được với một sự kiện bắt đầu hoặc được đánh dấu ngoại lệ. Chênh lệch giữa log thực thi và bảng tổng hợp cần nằm trong ngưỡng đã định.

Kiểm tra mẫu có thể yêu cầu 100% bước trong tập chuẩn có step_id và version; không sự kiện nào chứa token truy cập; tỷ lệ tính lại từ dữ liệu thô khớp dashboard đến sai số làm tròn; cảnh báo phát khi tỷ lệ giảm quá ngưỡng với kích thước mẫu tối thiểu. Cảnh báo không nên dựa trên một phiên đơn lẻ, nhưng lỗi an toàn nghiêm trọng vẫn cần báo ngay.

Câu hỏi thường gặp

Có nên đặt một mục tiêu tỷ lệ chung cho mọi bước không? Không. Bước tra cứu đơn giản và bước cần dữ liệu bên ngoài có độ khó khác nhau. Mục tiêu nên dựa trên rủi ro, đường cơ sở và tác động nghiệp vụ.

Bao lâu nên rà soát chỉ số? Sự cố cần giám sát gần thời gian thực, còn xu hướng chất lượng nên được rà soát theo tuần hoặc chu kỳ phát hành. Định nghĩa chỉ số phải được duyệt lại khi luồng hay chính sách thay đổi.

Xem thêm BMB Agent Studio và phương pháp phát lại lần chạy để kiểm thử thay đổi.

Nguồn tham khảo