Chuyển đến nội dung chính

Quản lý quota theo tenant trong Agent Studio thế nào?

Cách kiểm soát phiên đồng thời, lượt gọi công cụ, ngân sách và phần bùng nổ để một tenant không ảnh hưởng tenant khác.

Sơ đồ kiểm tra giữ chỗ tiêu thụ và hoàn trả quota theo tenant trong BMB Agent Studio

Đăng ngày

Quota theo tenant phải được kiểm soát ở cả đầu vào và lúc thực thi

Có. BMB Agent Studio cần quản lý quota riêng cho từng tenant để một đơn vị sử dụng nhiều không làm chậm hoặc làm cạn tài nguyên của đơn vị khác. Quota không nên chỉ là số lượt gọi mỗi tháng. Cơ chế thực tế phải kiểm soát đồng thời số phiên đang chạy, số bước trong phiên, lượng dữ liệu, lượt gọi công cụ và ngân sách xử lý; khi vượt ngưỡng, hệ thống cần từ chối có giải thích, xếp hàng hoặc chuyển sang chế độ hạn chế theo chính sách đã duyệt.

Tình huống nghiệp vụ bằng dữ liệu mẫu

Giả sử nền tảng phục vụ ba tenant A, B và C. Trong một giờ cao điểm, A mở 48 phiên, B mở 22 phiên và C mở 10 phiên. Hạn mức mẫu của mỗi tenant là 30 phiên đồng thời, 600 lượt gọi công cụ mỗi giờ và 1,2 triệu đơn vị xử lý mỗi ngày. Tenant A tạo một chiến dịch tổng hợp hàng loạt khiến số phiên tăng lên 67, phát sinh 920 lượt gọi công cụ trong 35 phút. Đây hoàn toàn là dữ liệu mẫu để thiết kế kiểm thử, không phải số liệu khách hàng hay cam kết năng lực của sản phẩm.

Nếu nền tảng chỉ kiểm soát tổng 100 phiên toàn hệ thống, A có thể chiếm phần lớn vùng xử lý và làm B, C chờ lâu dù họ chưa dùng hết phần được phân bổ. Ngược lại, chặn cứng phiên thứ 31 mà không phân biệt công việc khẩn cấp với tác vụ nền sẽ làm quy trình quan trọng bị gián đoạn. Bài toán quota vì vậy gồm cả công bằng, ưu tiên nghiệp vụ và khả năng giải thích.

Mô hình quota nhiều lớp

Lớp đầu là giới hạn tức thời. Nó gồm số phiên đồng thời, số yêu cầu mỗi phút, số công cụ đang chạy và dung lượng dữ liệu tạm. Mục tiêu là bảo vệ hệ thống trước đột biến. Mỗi lần bắt đầu bước mới, Agent Studio phải tính phần tài nguyên còn lại theo tenant, không chỉ kiểm tra một lần khi tạo phiên.

Lớp thứ hai là ngân sách theo cửa sổ thời gian, chẳng hạn lượt gọi công cụ mỗi giờ hoặc khối lượng xử lý mỗi ngày. Cửa sổ trượt giúp tránh tình trạng tenant dùng hết hạn mức ngay đầu giờ rồi tiếp tục được cấp lại khi đồng hồ sang mốc mới. Sổ quota cần ghi lần giữ chỗ, phần đã sử dụng và phần được hoàn lại khi bước bị hủy trước khi gọi công cụ.

Lớp thứ ba là giới hạn nghiệp vụ. Một quy trình có thể được phép chạy tối đa 20 bản ghi mỗi phiên hoặc yêu cầu phê duyệt khi dự kiến vượt một ngưỡng chi phí. Đây không phải giới hạn hạ tầng, nhưng phải được tính cùng quota để tránh chia nhỏ công việc thành nhiều phiên nhằm lách chính sách.

Lớp cuối là phần dự phòng. Tenant có thể có hạn mức cơ sở và một phần bùng nổ ngắn hạn. Phần dự phòng chỉ dùng khi tài nguyên chung còn đủ, có thời hạn và được ghi rõ trong nhật ký. Không nên biến dự phòng thành quyền mặc định vì khi nhiều tenant cùng tăng tải, cam kết công bằng sẽ mất ý nghĩa.

Quy trình giữ chỗ, tiêu thụ và hoàn trả

Khi nhận yêu cầu, hệ thống xác định tenant từ ngữ cảnh đã xác thực, sau đó ước lượng loại tài nguyên cần dùng. Với tác vụ 100 hồ sơ, agent có thể giữ trước một số lượt gọi công cụ thay vì ghi nhận sau khi đã chạy. Bản ghi giữ chỗ chứa tenant, loại quota, số lượng, phiên, thời điểm hết hạn và quy tắc hoàn trả.

Trước mỗi tool call, bộ kiểm soát kiểm tra lại quota vì dự toán ban đầu có thể thay đổi theo nhánh xử lý. Khi công cụ trả kết quả, hệ thống chuyển phần giữ chỗ thành tiêu thụ thực tế. Nếu bước không được thực hiện, phần chưa dùng được hoàn lại bằng một sự kiện đối ứng, không xóa lịch sử. Cách này cho phép đối soát số tổng về từng phiên và tránh âm quota khi hai yêu cầu cập nhật đồng thời.

Khi gần ngưỡng, Agent Studio nên phát cảnh báo cho quản trị tenant và giảm các công việc nền. Khi vượt ngưỡng, phản hồi phải cho biết loại quota, mức đã dùng, thời điểm có thể thử lại và lựa chọn được phép, ví dụ lưu yêu cầu vào hàng đợi. Không được hiển thị số liệu quota của tenant khác.

Ngoại lệ phải thiết kế trước

Tác vụ khẩn cấp có thể cần vượt hạn mức, nhưng việc nâng quota phải có người phê duyệt, thời gian hiệu lực và trần bổ sung. Không nên dùng tài khoản quản trị chung để bỏ qua mọi giới hạn. Với phiên chạy dài qua hai cửa sổ tính quota, hệ thống cần chốt rõ lượt gọi được tính tại thời điểm giữ chỗ hay thời điểm thực thi.

Một công cụ có thể trả lỗi trước khi xử lý hoặc xử lý thành công nhưng phản hồi bị mất. Trong trường hợp sau, tự động hoàn quota rồi gọi lại có thể tạo hành động trùng. Việc hoàn trả phải dựa trên trạng thái có bằng chứng và kết hợp khóa chống lặp của công cụ.

Tiêu chí kiểm tra trước vận hành

Bộ kiểm thử cần tạo tải đồng thời từ ít nhất ba tenant; xác nhận tenant vượt quota không làm tăng lỗi của tenant còn lại; kiểm tra hai yêu cầu cạnh tranh không cùng tiêu phần quota cuối; và thử hủy, timeout, gọi lại, nâng hạn mức tạm thời. Tổng giữ chỗ, tiêu thụ và hoàn trả phải đối soát được về từng phiên.

Với dữ liệu mẫu, A phải bị hạn chế sau ngưỡng theo chính sách, trong khi B và C vẫn khởi tạo được công việc. Báo cáo quản trị phải tách hạn mức cơ sở, phần dự phòng và phần vượt được phê duyệt. Chỉ số cần theo dõi gồm tỷ lệ từ chối, thời gian chờ và mức sử dụng theo loại quota; không gộp thành một con số duy nhất.

Câu hỏi thường gặp

Có nên cấp quota giống nhau cho mọi tenant?

Không nhất thiết. Hạn mức có thể theo gói hoặc quy mô nghiệp vụ, nhưng cách tính và cơ chế bảo vệ tối thiểu phải nhất quán, minh bạch.

Tăng máy chủ có thay thế quản lý quota không?

Không. Tăng tài nguyên nâng tổng năng lực nhưng không ngăn một tenant chiếm phần lớn tài nguyên khi có đột biến hoặc lỗi vòng lặp.

Xem thêm BMB Agent Studio và bài Giới hạn số bước và chi phí mỗi phiên.

Nguồn tham khảo