
Tin doanh nghiệp
Đăng ngày
Giới hạn số bước và chi phí cho mỗi phiên agent
Mỗi phiên agent cần ngân sách rõ cho số bước, thời gian, lượt gọi mô hình, công cụ và khối lượng dữ liệu. Khi gần giới hạn, agent phải rút gọn kế hoạch hoặc xin phép mở rộng; khi chạm giới hạn, hệ thống dừng an toàn và bàn giao trạng thái. Giới hạn không chỉ để giảm chi phí mà còn ngăn vòng lặp, truy vấn lan man và hành động ngoài mục tiêu.
Vì sao đặt một giới hạn token là chưa đủ?
Chi phí phiên đến từ nhiều nguồn: mô hình, tìm kiếm, cơ sở dữ liệu, API trả phí, xử lý tệp và thời gian hạ tầng. Một phiên dùng ít token nhưng gọi công cụ đắt tiền nhiều lần vẫn vượt ngân sách. Ngược lại, một lần đọc tài liệu dài có thể tốn token nhưng giảm hàng chục lượt tìm kiếm.
Thiết lập ngân sách theo loại nhiệm vụ
Nhiệm vụ hỏi đáp đơn giản có thể giới hạn ít bước, chỉ đọc và thời gian ngắn. Nhiệm vụ phân tích cần nhiều truy vấn nhưng không được thực thi thay đổi. Nhiệm vụ hành động cần ngân sách cho lập kế hoạch, phê duyệt, thực thi và xác minh. Mẫu ngân sách phải gắn loại nhiệm vụ và mức rủi ro.
Trước khi chạy, agent ước tính kế hoạch gồm các công cụ, số vòng và dữ liệu cần đọc. Nếu dự kiến vượt mức, hệ thống yêu cầu chia nhỏ hoặc xin phê duyệt. Trong quá trình chạy, bộ điều phối trừ ngân sách theo chi phí thực tế, không chỉ theo ước tính ban đầu.
Ví dụ với dữ liệu mẫu
Giả sử một phiên mẫu có mục tiêu lập báo cáo tuần từ ba nguồn. Ngân sách gồm tối đa 20 bước, 8 lượt gọi mô hình, 10 truy vấn dữ liệu, 120 giây và chi phí quy đổi 100 đơn vị. Kế hoạch ban đầu dự kiến 14 bước và 72 đơn vị.
Sau khi truy vấn nguồn thứ hai, agent phát hiện thiếu khóa liên kết và thử hai cách ánh xạ. Phiên đã dùng 12 bước, 68 đơn vị và còn nguồn thứ ba. Bộ điều phối dự báo kế hoạch đầy đủ sẽ vượt 100 đơn vị. Agent không tiếp tục dò tự do; nó tổng hợp phần đã làm, đề xuất hai lựa chọn: bỏ phân tích chi tiết nguồn ba để hoàn thành bản tóm tắt trong ngân sách, hoặc xin thêm 40 đơn vị.
Người dùng chọn bản tóm tắt. Agent dùng bốn bước còn lại để lấy chỉ tiêu chính, kiểm tra tổng và tạo báo cáo, kết thúc ở 16 bước và 96 đơn vị. Báo cáo ghi rõ phần phân tích sâu chưa thực hiện. Ví dụ dùng số liệu mẫu để minh họa cách cấu hình trong BMB Agent Studio.
Cơ chế phát hiện vòng lặp
Bộ điều phối nên nhận diện khi agent gọi cùng công cụ với tham số giống hoặc gần giống mà không thu được thông tin mới. Sau một số lần, hệ thống buộc agent giải thích mục tiêu của lần thử tiếp theo hoặc chuyển chiến lược. Nếu không có lý do, phiên dừng.
Vòng lặp cũng có thể xảy ra ở cấp suy luận: liên tục lập lại kế hoạch mà không thực thi, hoặc đọc nhiều tài liệu có cùng nội dung. Dấu hiệu gồm tỷ lệ thông tin mới thấp, số bước tăng nhưng trạng thái nhiệm vụ không đổi và lỗi lặp cùng mã.
Ưu tiên chất lượng trong phạm vi ngân sách
Khi ngân sách giảm, agent nên bỏ các phần giá trị thấp trước: định dạng trang trí, nguồn trùng, phân tích phụ hoặc mức chi tiết không được yêu cầu. Không được cắt bước kiểm tra quyền, xác minh dữ liệu hoặc đối chiếu kết quả chỉ để hoàn thành nhanh.
Mỗi mẫu nhiệm vụ nên xác định bước bắt buộc và bước tùy chọn. Bộ điều phối chỉ cho phép kết thúc thành công nếu bước bắt buộc đạt. Nếu ngân sách không đủ, trạng thái là “hoàn thành một phần” hoặc “cần bổ sung”, không phải hoàn thành.
Xử lý vượt ngân sách và bàn giao
Khi gần ngưỡng, hệ thống gửi cảnh báo cùng dự báo phần còn lại. Yêu cầu mở rộng nêu số bước hoặc chi phí bổ sung, lý do và đầu ra dự kiến. Phê duyệt chỉ tăng đúng loại ngân sách cần thiết và có giới hạn mới.
Nếu không được mở rộng, agent tạo checkpoint gồm mục tiêu, dữ liệu đã lấy, kết luận tạm thời, lỗi, công cụ đã gọi và bước tiếp theo. Phiên sau có thể tiếp tục từ checkpoint nhưng phải kiểm tra dữ liệu có còn mới và quyền có thay đổi không.
Khi chạm thời gian nhưng công cụ vẫn chạy, agent không nên coi là thất bại ngay. Hệ thống lưu mã yêu cầu, theo dõi bất đồng bộ hoặc bàn giao cho tiến trình giám sát. Retry mù có thể nhân đôi công việc và chi phí.
Theo dõi và tối ưu định lượng
Các chỉ số gồm chi phí trung vị và phân vị cao theo loại nhiệm vụ, tỷ lệ phiên vượt ngân sách, số bước không tạo thông tin mới, tỷ lệ hoàn thành một phần và chi phí cho mỗi đầu ra đạt kiểm tra. So sánh chỉ có ý nghĩa giữa nhiệm vụ tương đồng.
Nhóm vận hành nên xem các phiên đắt nhất, nhưng không tự động giảm ngân sách toàn hệ thống. Có thể nguyên nhân là nguồn dữ liệu chậm, công cụ trả kết quả quá lớn hoặc kế hoạch thiếu bước lọc. Sửa nguyên nhân gốc thường hiệu quả hơn cắt giới hạn.
Kiểm thử trước khi áp dụng
Bộ kiểm thử cần có nhiệm vụ bình thường, dữ liệu thiếu, công cụ timeout, nguồn trả khối lượng lớn, vòng lặp và yêu cầu mở rộng. Cần xác minh bộ đếm chính xác qua nhiều loại công cụ, checkpoint đủ để tiếp tục và không thể lách giới hạn bằng việc sinh phiên con không kiểm soát.
Tiêu chí đạt gồm: 100% phiên có ngân sách; mọi lần mở rộng có phê duyệt; chạm ngưỡng dừng an toàn; bước bảo mật không bị bỏ; và báo cáo chi phí khớp nhật ký công cụ. Dữ liệu chi phí nhạy cảm cần được phân quyền phù hợp.
Câu hỏi thường gặp
Giới hạn thấp có làm agent kém thông minh không?
Giới hạn quá thấp có thể làm đầu ra thiếu, nhưng ngân sách hợp lý buộc agent ưu tiên. Cần thiết kế theo nhiệm vụ và theo dõi tỷ lệ hoàn thành để hiệu chỉnh.
Có nên cho agent tự xin thêm ngân sách?
Agent có thể tạo đề nghị với lý do và dự báo, nhưng việc cấp thêm nên theo chính sách hoặc người có thẩm quyền, nhất là công cụ trả phí.
Checkpoint có chứa toàn bộ dữ liệu phiên không?
Không nhất thiết. Nên lưu trạng thái và tham chiếu cần thiết, tránh sao chép dữ liệu nhạy cảm. Khi tiếp tục, hệ thống kiểm tra quyền và độ mới trước khi dùng lại.