
AI Agent
BMB Technology
Đăng ngày
Tóm tắt: Chi phí AI Agent không chỉ nằm ở token. Thời gian truy vấn dữ liệu, tìm tài liệu, số bước agent, GPU và tỷ lệ yêu cầu phải chạy lại cùng quyết định hiệu quả vận hành.
Khi xây dựng AI Agent doanh nghiệp, nhóm kỹ thuật thường đặt câu hỏi “mô hình nào thông minh nhất?”. Nhưng sau bản demo, người dùng quan tâm điều khác: Tại sao câu hỏi đơn giản mất quá lâu, vì sao dễ timeout và mỗi yêu cầu thực sự tốn bao nhiêu?
Một AI Agent phân tích dữ liệu có thể đi qua nhiều công đoạn: phân loại câu hỏi, tìm metadata, truy vấn PostgreSQL, tính số liệu ở kho phân tích, lấy tài liệu RAG, gọi LLM và kiểm tra quyền. Mỗi bước có độ trễ và chi phí riêng. Tối ưu chỉ riêng tốc độ sinh token có thể không cải thiện nhiều nếu phần lớn thời gian đang chờ công cụ.
Phân biệt ba nhóm chi phí vận hành
Chi phí suy luận: Token đầu vào, đầu ra, nội dung ngữ cảnh dài, số lần gọi mô hình và chi phí máy chủ GPU hoặc dịch vụ API. Dịch vụ có thể định giá riêng cho các loại token và cơ chế cache, nên không nên dùng một đơn giá chung cho mọi trường hợp.
Chi phí dữ liệu và công cụ: Truy vấn cơ sở dữ liệu, chỉ mục tìm kiếm, tài nguyên RAM/CPU, băng thông, dữ liệu lưu trữ và các dịch vụ nội bộ.
Chi phí vận hành và kiểm soát: Giám sát, nhật ký, bảo mật, cập nhật mô hình, kiểm thử, xử lý sự cố và công sức nhân viên xác nhận câu trả lời.
Với phương án on-premise, tiền token theo API có thể không xuất hiện, nhưng điện, phần cứng, GPU, khấu hao và công vận hành vẫn tồn tại.
Token là gì và vì sao prompt dài gây tốn kém?
Token là đơn vị xử lý văn bản của mô hình, không đồng nhất với từ hay ký tự tiếng Việt. Một câu hỏi ngắn có thể kèm lịch sử hội thoại, mô tả hàng chục công cụ, dữ liệu RAG hoặc kết quả truy vấn, khiến lượng token đầu vào lớn hơn rất nhiều nội dung người dùng nhìn thấy.
Giả sử một yêu cầu phải gọi mô hình ba lần: phân loại, lập kế hoạch và tổng hợp. Chi phí token là tổng chi phí của cả ba lượt, không chỉ lượt tạo câu trả lời cuối cùng.
Cần đo token đã dùng theo bước, theo công cụ, theo người dùng và theo loại tác vụ. Nếu không có nhật ký này, tổ chức khó giải thích vì sao một tác vụ đơn giản lại đắt.
Độ trễ AI Agent gồm những phần nào?
Một phép đo có thể tách:
| Thành phần | Ví dụ | Cách cải thiện |
|---|---|---|
| Định tuyến | Xác định loại câu hỏi | Quy tắc nhanh, model nhỏ khi phù hợp |
| Tra cứu metadata | Tìm KPI, schema, nguồn | Danh mục, cache theo phiên bản |
| Truy vấn dữ liệu | SQL, phép tổng hợp | Chỉ số, query plan, giới hạn và pre-aggregation |
| Truy xuất tài liệu | Search, rerank, đọc đoạn | Hybrid search, giới hạn top-k |
| Suy luận LLM | Lập kế hoạch và diễn giải | Prompt ngắn, mô hình phù hợp, giảm số lượt |
| Kiểm tra/phê duyệt | Xác thực quyền, chờ người duyệt | Quy trình rõ, không bỏ bước bắt buộc |
TTFT (time to first token) đo thời gian đến token đầu tiên khi stream; nó không cho biết tác vụ đã hoàn tất. End-to-end latency từ lúc nhận yêu cầu đến kết quả đã kiểm chứng thường có ý nghĩa hơn đối với người dùng doanh nghiệp.
Vì sao nên theo dõi p50 và p95 thay vì chỉ trung bình?
Giả sử phần lớn câu trả lời mất 3 giây nhưng một số yêu cầu mất 40 giây hoặc timeout. Trung bình có thể không phản ánh những lần người dùng bực bội nhất.
p50 là độ trễ trung vị; p95 là mức mà khoảng 95% yêu cầu có độ trễ không vượt quá, khi tính trên một tập đo phù hợp. Để so sánh công bằng phải phân nhóm tác vụ: hỏi KPI đơn giản khác hoàn toàn yêu cầu phân tích nhiều nguồn.
Cũng cần đo tỷ lệ thành công, timeout, retry, từ chối hợp lý và thời gian người dùng phải sửa kết quả. Một câu trả lời nhanh nhưng sai làm tăng tổng chi phí.
Tối ưu trước khi mua GPU lớn hơn
Có sáu biện pháp thường đáng thử trước:
- Định tuyến trực tiếp: Câu hỏi KPI gọi metric service, không cần tạo chuỗi reasoning dài.
- Không gửi toàn bộ schema: Chỉ cấp cho LLM các mô tả dữ liệu liên quan, lấy từ Data Catalog.
- Tách quant-first: SQL, thống kê và kiểm tra dữ liệu do chương trình đảm nhiệm; LLM chỉ giải thích khi cần.
- Giảm số công cụ: Xóa các bước tìm kiếm không phục vụ câu hỏi.
- Song song hóa có điều kiện: Chạy những truy vấn độc lập cùng lúc; giữ thứ tự với bước phụ thuộc.
- Cache có kiểm soát: Cache metadata ổn định hoặc kết quả đúng phạm vi quyền, phiên bản và kỳ dữ liệu.
Không được chia sẻ cache dữ liệu nhạy cảm giữa tenant hoặc những người dùng có quyền khác nhau chỉ để tiết kiệm token.
Ví dụ định lượng về chi phí theo tác vụ
Giả sử một quy trình có 4 lượt gọi mô hình, mỗi lượt sử dụng trung bình 6.000 input token và 800 output token. Một tác vụ như vậy dùng tổng cộng 24.000 input token và 3.200 output token, chưa kể embedding/reranking hoặc các công cụ khác.
Nếu tổ chức xử lý 1.000 tác vụ tương tự, tổng mức dùng giả định sẽ là 24 triệu input token và 3,2 triệu output token. Chi phí tiền chỉ có thể tính sau khi lấy biểu giá đúng model, loại token, dịch vụ, điều kiện cache và thời điểm mua.
Ví dụ này chỉ minh họa phép cộng, không phải mức tiêu hao thực tế hoặc cam kết chi phí BMB Insight. Cách giảm chi phí quan trọng nhất là xem mỗi bước gọi mô hình có thực sự cần hay không.
Có nên dùng mô hình lớn cho mọi yêu cầu?
Không nên mặc định. Một model nhỏ hơn có thể đáp ứng phân loại câu hỏi hoặc tạo bản tóm tắt chuẩn nếu được kiểm thử. Nhưng các câu hỏi phức tạp về hợp đồng hoặc phân tích đa bước có thể cần model mạnh hơn.
Một bộ định tuyến có thể lựa chọn theo độ phức tạp, rủi ro và chất lượng yêu cầu. Tuy nhiên, thay model cần kiểm thử hồi quy để tránh tiết kiệm chi phí bằng cách tăng số câu trả lời sai.
Các thao tác đơn giản như kiểm tra định dạng, đối chiếu tổng số hoặc đặt lịch nên dùng chương trình xác định, không dùng LLM.
Hạn chế timeout và tác vụ chạy lâu
Từng tool nên có timeout, giới hạn kết quả và chính sách retry riêng. Một truy vấn nặng không nên chạy vô hạn trong một yêu cầu chat.
Với việc tạo báo cáo lớn, có thể lưu trạng thái rồi xử lý theo mô hình tác vụ có thể theo dõi. Nếu một nguồn lỗi, hệ thống phải biết trả kết quả phần nào và mức thiếu dữ liệu, hoặc dừng theo quy định chất lượng.
Đối với tác vụ tạo dữ liệu, retry phải có idempotency key để tránh tạo trùng giao dịch.
Chọn giữa thuê token và hạ tầng GPU
Thuê token phù hợp khi nhu cầu biến động, muốn khởi động nhanh và không muốn tự vận hành hạ tầng. GPU tự quản trị có thể phù hợp khi cần kiểm soát dữ liệu, có tải tương đối ổn định và đủ năng lực vận hành.
Nhưng so sánh phải tính tổng chi phí sở hữu, công suất phục vụ người dùng đồng thời, thời gian chờ, độ sẵn sàng và chi phí duy trì mô hình. Không thể chỉ chia giá mua máy cho số lượng người dùng để suy ra giá mỗi token.
Câu hỏi thường gặp
Streaming giúp giảm độ trễ không?
Streaming giúp người dùng thấy phản hồi sớm hơn nhưng không nhất thiết làm giảm tổng thời gian hoàn thành tác vụ.
Thêm nhiều Agent có luôn nhanh hơn không?
Không. Có thể tăng vòng hội thoại, giao tiếp giữa Agent và chi phí điều phối. Cần benchmark trên tác vụ thật.
Nên tối ưu token hay chất lượng trước?
Phải giữ ngưỡng chất lượng và quyền bắt buộc, sau đó tối ưu chi phí trên mỗi tác vụ hợp lệ được chấp nhận.
Kết luận
Muốn AI Agent chạy nhanh và tiết kiệm, hãy đo toàn chuỗi công việc, loại bỏ tool call thừa, tách phép tính định lượng khỏi LLM và quản trị quyền/cache đúng cách. BMB Insight nên được đánh giá bằng thời gian và chi phí trên các kịch bản đã kiểm thử, không dựa vào một benchmark token đơn lẻ.
Xem thêm AI Agent kết hợp nhiều nguồn dữ liệu và năng lực AI Agent phân tích dữ liệu.
Bạn đang đánh giá giải pháp AI vận hành cho doanh nghiệp? Liên hệ BMB để trao đổi nhu cầu và đăng ký xem demo BMB Insight. Bài viết mang tính hướng dẫn và minh họa; phạm vi sản phẩm phải được xác nhận qua bản demo và khảo sát triển khai.
Giải pháp BMB liên quan
- BMB Agent Studio - Nền tảng xây dựng và vận hành AI Agent. Thiết kế luồng xử lý, quy định quyền hành động và bố trí bước phê duyệt.