
Tin doanh nghiệp
Đăng ngày
Có thể phát lại lần chạy của agent để kiểm thử thay đổi không?
Có, nếu lần chạy cũ được lưu dưới dạng gói đầu vào và dấu vết thực thi có phiên bản. Phát lại không có nghĩa cho agent thực hiện lại mọi hành động trên hệ thống thật. Với BMB Agent Studio, cách an toàn là tái tạo quyết định trong môi trường cô lập, thay công cụ ghi dữ liệu bằng mô phỏng và so sánh từng bước giữa phiên bản cũ với phiên bản mới.
Vì sao chỉ chạy lại cùng một câu lệnh là chưa đủ?
Một agent xử lý yêu cầu mua hàng có thể đọc email, tra nhà cung cấp, kiểm tra ngân sách và tạo phiếu chờ duyệt. Sau hai tuần, đội phát triển sửa prompt để hỏi rõ mã dự án khi thiếu. Nếu chỉ nhập lại email cũ, kết quả có thể khác vì danh mục hoặc số dư ngân sách đã thay đổi. Đó không còn là phép so sánh cùng điều kiện.
Nguy hiểm hơn, chạy lại trực tiếp có thể tạo phiếu thứ hai, gửi thông báo hoặc giữ chỗ ngân sách. Một bài kiểm thử tốt phải tái hiện logic nhưng không gây tác dụng phụ. Vì vậy, cần phân biệt phát lại để quan sát với thực thi lại để xử lý nghiệp vụ.
Gói phát lại cần lưu những thành phần nào?
Thành phần đầu tiên là đầu vào đã chuẩn hóa: nội dung yêu cầu, tệp đính kèm, người gửi và ngữ cảnh được phép dùng. Thành phần thứ hai là phiên bản cấu hình gồm prompt, workflow, danh sách công cụ, chính sách quyền và mô hình. Thành phần thứ ba là ảnh chụp dữ liệu tham chiếu mà các quyết định phụ thuộc, chẳng hạn phiên bản danh mục và phản hồi tra ngân sách.
Cuối cùng là dấu vết thực thi: các bước agent dự kiến, lời gọi công cụ, tham số, kết quả trả về, nhánh đã chọn, điểm dừng và phê duyệt của con người. Dữ liệu nhạy cảm cần được che hoặc thay bằng giá trị kiểm thử, nhưng cấu trúc phải đủ để tái hiện điều kiện quyết định.
Không nên lưu bí mật truy cập trong gói phát lại. Công cụ mô phỏng nhận tham số và trả kết quả đã ghi trước; nó không cần khóa thật. Nếu kết quả công cụ quá lớn, hệ thống có thể lưu bản rút gọn có kiểm soát cùng mã băm của bản gốc.
Quy trình phát lại an toàn
Bước một, người kiểm thử chọn một lần chạy và mục tiêu so sánh, ví dụ kiểm tra prompt mới có xử lý đúng trường hợp thiếu mã dự án hay không. Hệ thống tạo bản sao gói phát lại, che dữ liệu theo chính sách và khóa mọi công cụ có tác dụng ghi.
Bước hai, Agent Studio khởi tạo môi trường cô lập với phiên bản mới. Các lời gọi đọc có thể dùng phản hồi đã ghi hoặc kho dữ liệu thử cố định. Các lời gọi tạo phiếu, gửi thư hay cập nhật trạng thái được thay bằng công cụ giả lập chỉ ghi ý định. Nếu agent cố gọi công cụ ngoài danh sách, lần chạy phải dừng và báo vi phạm.
Bước ba, agent chạy đến điểm kết thúc hoặc điểm cần phê duyệt. Hệ thống thu dấu vết mới theo cùng cấu trúc với lần cũ. Bước bốn, bộ so sánh đánh giá chênh lệch ở đầu ra, nhánh workflow, số lời gọi công cụ, tham số và điều kiện dừng. Khác biệt không mặc nhiên là lỗi; mỗi khác biệt phải được phân loại là cải thiện dự kiến, thay đổi chấp nhận được hoặc hồi quy.
Bước năm, người rà soát duyệt kết quả trước khi đưa phiên bản mới sang môi trường thử tích hợp. Phát lại cung cấp bằng chứng về logic, nhưng chưa thay thế kiểm thử kết nối, hiệu năng và quyền trên hệ thống gần thật.
Ví dụ với dữ liệu mẫu
Đội phát triển chọn dữ liệu mẫu của 60 lần chạy: 20 yêu cầu đầy đủ, 20 thiếu mã dự án, 10 nhà cung cấp không hợp lệ và 10 yêu cầu vượt ngân sách. Phiên bản cũ tạo 18 phiếu dù thiếu mã dự án. Phiên bản mới dự kiến hỏi lại ở cả 20 trường hợp này và không tạo ý định ghi.
Kết quả phát lại cho thấy 19 trường hợp hỏi đúng, một trường hợp suy ra nhầm mã dự án từ tên tệp đính kèm. Ngoài ra, hai yêu cầu nhà cung cấp không hợp lệ lại đi đến bước kiểm tra ngân sách trước khi dừng, làm tăng một lời gọi không cần thiết. Nhóm đánh dấu lỗi suy diễn là hồi quy nghiêm trọng; thay đổi thứ tự được xếp mức trung bình vì tăng chi phí nhưng không sai kết quả.
Sau khi sửa, 60 lần phát lại đạt kết quả mong đợi. Các con số là dữ liệu mẫu minh họa phương pháp kiểm thử, không phải số liệu của khách hàng.
Chỉ số nào cần so sánh?
Nhóm chức năng gồm tỷ lệ chọn đúng nhánh, tỷ lệ dừng khi thiếu dữ liệu, số hành động cần phê duyệt và độ chính xác của tham số công cụ. Nhóm an toàn gồm số lần yêu cầu quyền vượt phạm vi, số ý định ghi ngoài quy trình và khả năng che dữ liệu nhạy cảm. Nhóm hiệu quả gồm số bước, số lời gọi, thời gian mô phỏng và lượng ngữ cảnh sử dụng.
Ngưỡng chấp nhận nên khác nhau theo rủi ro. Một thay đổi cách diễn đạt có thể cho phép sai khác câu chữ; nhưng định danh nhà cung cấp, số tiền và quyết định có tạo phiếu hay không phải khớp tuyệt đối với kỳ vọng của ca kiểm thử.
Ngoại lệ cần đưa vào bộ phát lại
Cần có lần chạy bị gián đoạn giữa hai công cụ, phản hồi công cụ đến chậm, cùng một sự kiện được gửi hai lần và người phê duyệt từ chối. Cũng cần thử khi phiên bản mới bỏ một công cụ, đổi cấu trúc tham số hoặc thêm bước xin xác nhận.
Nếu không thể tái tạo một phụ thuộc, hệ thống phải ghi rõ ca kiểm thử không đầy đủ. Không nên dùng phản hồi hiện tại thay cho dữ liệu cũ rồi vẫn kết luận phiên bản mới tốt hơn.
Câu hỏi thường gặp
Có thể dùng log production để phát lại không?
Có thể, nhưng cần giới hạn quyền, che dữ liệu nhạy cảm và tuân thủ thời hạn lưu. Nên chọn tập ca đại diện thay vì sao chép toàn bộ dữ liệu sang môi trường thử.
Phát lại có bảo đảm agent sẽ chạy đúng khi triển khai không?
Không. Nó giảm rủi ro hồi quy logic. Vẫn cần kiểm thử tích hợp, phân quyền, tải, giám sát và cơ chế dừng trong môi trường triển khai.
Khi nào cần cập nhật tập phát lại?
Khi xuất hiện lỗi mới, nghiệp vụ đổi, công cụ thay cấu trúc hoặc có loại yêu cầu chưa được đại diện. Mỗi sự cố đáng chú ý nên tạo thêm một ca kiểm thử lâu dài.