Chuyển đến nội dung chính

Cấu hình timeout và retry theo từng loại công cụ

Cách phân loại công cụ, chia ngân sách thời gian, chọn lỗi được retry và xử lý kết quả chưa xác định.

Sơ đồ phân loại công cụ, chia deadline, retry có backoff và xử lý trạng thái trong BMB Agent Studio

Đăng ngày

Timeout và retry phải được cấu hình theo từng loại công cụ

Không nên dùng một ngưỡng timeout và một chính sách retry cho mọi công cụ của agent. Truy vấn chỉ đọc, tạo giao dịch, gửi tệp lớn và gọi mô hình phân tích có thời gian xử lý, mức độ an toàn và cách khôi phục khác nhau. BMB Agent Studio cần phân loại công cụ, đặt ngân sách thời gian cho toàn phiên, giới hạn số lần thử và chỉ phát lại tự động khi chứng minh được hành động an toàn.

Tình huống nghiệp vụ bằng dữ liệu mẫu

Một agent có chuỗi bốn bước: tra cứu hồ sơ, tính chỉ tiêu, tạo nhiệm vụ và gửi thông báo. Số liệu mẫu từ 5.000 lần chạy cho thấy tra cứu có phân vị 95 là 1,8 giây; tính chỉ tiêu 7 giây; tạo nhiệm vụ 2,4 giây; gửi thông báo 4,5 giây. Tuy nhiên nhóm vận hành đang đặt timeout 5 giây cho tất cả. Kết quả là 7% bước tính chỉ tiêu bị dừng dù vẫn tiến triển bình thường, trong khi một số tra cứu treo tới 5 giây mới được phát hiện.

Trong 120 lần tạo nhiệm vụ bị timeout, hệ thống đích thực tế đã tạo 73 nhiệm vụ. Nếu agent tự thử lại mà không có idempotency key hoặc bước tra cứu trạng thái, 73 nhiệm vụ có nguy cơ bị nhân đôi. Mọi số liệu đều là dữ liệu mẫu để minh họa cách thiết kế, không phản ánh vận hành của khách hàng.

Phân loại công cụ trước khi đặt chính sách

Nhóm thứ nhất là công cụ chỉ đọc, có truy vấn xác định và không tạo hiệu ứng phụ. Chúng thường có thể thử lại sau lỗi kết nối hoặc phản hồi 5xx, nhưng vẫn cần giới hạn để tránh tăng tải khi nguồn đang sự cố. Nhóm thứ hai là hành động có cơ chế idempotency, có thể thử lại với cùng khóa sau khi kiểm tra trạng thái. Nhóm thứ ba là hành động không bảo đảm chống lặp; agent không được tự phát lại khi kết quả chưa rõ.

Nhóm xử lý dài như lập báo cáo, OCR hoặc tối ưu nên dùng mô hình công việc bất đồng bộ. Công cụ trả mã job nhanh, còn Agent Studio theo dõi trạng thái bằng polling có giãn cách hoặc sự kiện callback. Giữ một kết nối đồng bộ hàng phút dễ gây timeout giả và chiếm tài nguyên. Công cụ tương tác thời gian thực lại cần ngưỡng ngắn để người dùng không chờ vô hạn.

Xây ngân sách thời gian từ ngoài vào trong

Toàn phiên cần một deadline rõ, ví dụ 30 giây cho câu hỏi trực tuyến hoặc 10 phút cho công việc nền. Mỗi bước nhận phần ngân sách nhỏ hơn, đồng thời giữ thời gian để Agent Studio tổng hợp kết quả và trả lời. Timeout của lời gọi ngoài phải ngắn hơn deadline còn lại; nếu phiên chỉ còn 3 giây, không nên khởi động công cụ thường mất 8 giây.

Số liệu lịch sử nên được phân đoạn theo loại yêu cầu, kích thước payload và hệ thống đích. Trung bình không đủ vì che đuôi chậm. Có thể bắt đầu từ phân vị 95 cộng biên hợp lý, rồi điều chỉnh theo mục tiêu trải nghiệm và khả năng chịu tải. Ngưỡng không được kéo dài chỉ để giảm tỷ lệ timeout nếu người dùng không còn cần kết quả muộn.

Agent Studio cũng cần truyền deadline xuống công cụ để tầng dưới hủy công việc không còn giá trị. Nếu chỉ agent ngừng chờ còn dịch vụ vẫn chạy, các lần thử mới sẽ làm tải chồng lên tải cũ. Việc hủy phải an toàn; với giao dịch đã qua điểm cam kết, công cụ chuyển sang trả trạng thái thay vì giả vờ hủy thành công.

Chọn lỗi được phép retry

Lỗi mạng tạm thời, giới hạn tốc độ có chỉ dẫn, hoặc phản hồi máy chủ tạm thời thường có thể thử lại đối với công cụ an toàn. Lỗi xác thực, thiếu quyền, payload sai, quy tắc nghiệp vụ không đạt và dữ liệu không tồn tại không nên retry tự động. Thử lại một lỗi xác định chỉ làm tăng độ trễ và che nguyên nhân.

Backoff nên tăng dần và thêm jitter để nhiều phiên không đồng loạt gọi lại. Khi hệ thống đích trả thời gian chờ, Agent Studio tôn trọng nhưng không vượt ngân sách toàn phiên. Circuit breaker có thể ngăn lời gọi mới khi tỷ lệ lỗi tăng mạnh; tác vụ được chuyển sang hàng chờ hoặc trả thông báo có kiểm soát.

Xử lý kết quả chưa xác định

Timeout ở phía agent chỉ nói rằng phản hồi chưa đến đúng hạn. Với hành động tạo thay đổi, Agent Studio trước hết gọi API tra cứu bằng khóa nghiệp vụ hoặc idempotency key. Nếu thấy đối tượng đã tạo, phiên tiếp tục từ kết quả đó. Nếu công cụ xác nhận chưa xử lý, hệ thống có thể thử lại theo chính sách. Nếu không thể kết luận, phiên dừng tại trạng thái cần đối soát và không tuyên bố thất bại hay thành công.

Đối với chuỗi nhiều bước, chỉ thử lại bước lỗi; không chạy lại toàn chuỗi nếu các bước trước đã tạo hiệu ứng. Trạng thái checkpoint phải ghi đầu vào, kết quả và phiên bản công cụ đủ để khôi phục. Thông báo cho người dùng cần nêu hành động nào đã hoàn tất và hành động nào đang chờ.

Ngoại lệ cần chú ý

Một truy vấn chỉ đọc vẫn có thể gây tải rất lớn, nên tính an toàn nghiệp vụ không đồng nghĩa được retry vô hạn. Công cụ có streaming cần timeout nhàn rỗi riêng thay vì ngưỡng cho toàn phản hồi. Tệp lớn cần tách thời gian tải lên, xử lý và xác nhận.

Tiêu chí kiểm tra trước khi vận hành

Bộ kiểm thử phải có phản hồi nhanh, phản hồi chậm nhưng thành công, lỗi tạm thời, lỗi xác định, giới hạn tốc độ, timeout sau khi đã ghi dữ liệu và nguồn ngừng hoàn toàn. Hệ thống đạt khi không retry lỗi xác định, không vượt tổng deadline, dùng backoff có jitter, không tạo thay đổi trùng và tái hiện được quyết định từ nhật ký.

Với dữ liệu mẫu 5.000 lần chạy, nhóm nghiệm thu cần so sánh tỷ lệ hoàn tất, phân vị độ trễ, số lần gọi trên mỗi phiên và tải cực đại trước và sau cấu hình. Giảm timeout nhưng làm số lời gọi tăng gấp ba không phải cải thiện bền vững.

Câu hỏi thường gặp

Retry ba lần có phải mặc định tốt không?

Không. Số lần phụ thuộc loại lỗi, độ an toàn, deadline và tải nguồn. Có công cụ không được retry; có công việc nền có thể thử nhiều lần trong hàng chờ.

Có nên tăng timeout khi thấy nhiều lỗi?

Chỉ khi dữ liệu chứng minh công việc hợp lệ cần thêm thời gian và người dùng còn cần kết quả. Nếu nguồn đang treo, tăng timeout chỉ kéo dài chờ đợi.

Nguồn tham khảo