
Bảo mật và công nghệ
BMB Technology
Đăng ngày
Tóm tắt: API thường dễ khởi động, LLM tự triển khai tăng quyền kiểm soát hạ tầng; nhưng phương án tối ưu phụ thuộc tải đồng thời, chính sách dữ liệu và năng lực vận hành.
Khi doanh nghiệp triển khai trợ lý AI nội bộ, hai phương án thường được đưa ra: sử dụng API mô hình ngôn ngữ từ nhà cung cấp hoặc thuê/mua hạ tầng để chạy mô hình do doanh nghiệp tự quản trị.
Không nên quyết định chỉ vì “API tính theo token” hoặc “máy chủ GPU dùng một lần là xong”. Cả hai có lợi thế và chi phí ẩn. Đặc biệt, một hệ thống AI Agent còn có dữ liệu, vector search, công cụ phân tích, giám sát và bảo mật nằm ngoài bản thân LLM.
Phân biệt API mô hình và tự triển khai mô hình
Với API, doanh nghiệp gửi yêu cầu qua giao diện của nhà cung cấp. Nhà cung cấp quản lý phần lớn hạ tầng suy luận và thường định giá theo loại model, token hoặc hình thức dịch vụ.
Với mô hình tự triển khai, doanh nghiệp chọn model phù hợp giấy phép, engine suy luận, GPU, bộ nhớ và môi trường vận hành. Hạ tầng có thể là máy chủ tại chỗ hoặc GPU thuê trên cloud; “tự triển khai model” không đồng nghĩa nhất thiết “on-premise”.
Cũng có mô hình trung gian: dịch vụ model được quản lý trong môi trường riêng hoặc khu vực theo hợp đồng. Mức kiểm soát phải kiểm tra cụ thể, không suy từ tên gói dịch vụ.
So sánh theo năm chiều
| Tiêu chí | API được quản lý | Model tự triển khai |
|---|---|---|
| Khởi động | Thường nhanh, ít phải vận hành GPU | Cần cài đặt, benchmark, giám sát |
| Chất lượng model | Tùy model và nhà cung cấp | Tùy model được chọn và tinh chỉnh |
| Dữ liệu và quyền kiểm soát | Phụ thuộc chính sách xử lý/hợp đồng | Kiểm soát hạ tầng nhiều hơn, vẫn phải bảo mật |
| Mở rộng tải | Phụ thuộc hạn mức và mức phí | Phụ thuộc công suất GPU, batching, HA |
| Chi phí | Thường biến đổi theo mức sử dụng | Có phần chi phí cố định và vận hành đáng kể |
Không nên khẳng định mọi model API tốt hơn model mở, hoặc mọi model nội bộ đều rẻ hơn ở quy mô lớn. Phải kiểm thử theo dữ liệu và công việc thực tế.
Chi phí API cần tính những khoản nào?
Một phép tính sơ bộ thường là:
Chi phí LLM = số input token × đơn giá input + số output token × đơn giá output.
Nhưng với Agent, phải cộng tất cả các lượt gọi mô hình: phân loại, lập kế hoạch, đánh giá kết quả và tạo câu trả lời. Ngoài ra có thể có phí embedding, reranking, công cụ tìm kiếm, lưu trữ và băng thông.
Một yêu cầu tổng hợp báo cáo có thể gọi model nhiều lần hơn một câu hỏi FAQ. Vì vậy nên đo chi phí trên một tác vụ đã hoàn thành đúng, không chỉ chi phí một lần gọi API.
Biểu giá, mức cache và điều kiện hợp đồng thay đổi theo nhà cung cấp. Không nên chốt dự toán dài hạn từ một giá token không ghi rõ phiên bản và ngày tra cứu.
Chi phí mô hình tự triển khai gồm những gì?
Tổng chi phí sở hữu (TCO) có thể gồm:
- Máy chủ GPU hoặc tiền thuê GPU theo giờ/tháng.
- CPU, RAM, mạng và storage phục vụ context, model và dữ liệu.
- Điện, làm mát, không gian máy chủ nếu mua thiết bị.
- License hoặc nghĩa vụ tuân thủ giấy phép model/phần mềm khi áp dụng.
- Giám sát, vá lỗi, backup, bảo mật và dự phòng.
- Nhân sự DevOps/MLOps và công sức tối ưu engine suy luận.
- Nâng cấp model, kiểm thử hồi quy, xử lý lỗi và downtime.
Model được cấp phép mở không có nghĩa tổng chi phí triển khai bằng 0. Phần cứng đang rảnh cũng có chi phí cơ hội nếu sử dụng để chạy LLM.
Ví dụ tính chi phí để không nhầm đơn vị
Giả sử một ứng dụng xử lý 10.000 yêu cầu mỗi tháng, trung bình mỗi yêu cầu đi qua hai lượt gọi model, mỗi lượt dùng 4.000 input token và 600 output token.
Tổng token giả định trong tháng sẽ là:
- Input: 10.000 × 2 × 4.000 = 80 triệu token.
- Output: 10.000 × 2 × 600 = 12 triệu token.
Để tính tiền cần nhân với đơn giá thực tế của loại model và gói dịch vụ được chọn. Nếu tự chạy GPU, lại phải biết thời gian GPU thực phục vụ lượng tải đó, số lượt đồng thời và công suất dự phòng. Không thể chuyển số token sang tiền thuê GPU chỉ bằng một hệ số cố định.
Ví dụ này hoàn toàn minh họa, không phải tải thực tế hoặc bảng giá của BMB Insight.
Vì sao số người dùng không đủ để sizing GPU?
Một doanh nghiệp có 100 tài khoản nhưng 15 người dùng đồng thời có thể có nhu cầu GPU thấp hơn một đội 30 người liên tục chạy Agent phân tích nhiều bước.
Nhu cầu phụ thuộc model, kích thước context, token/s, số phiên, KV cache, batching, quantization và mục tiêu p95 độ trễ. Một GPU có VRAM lớn không tự động đảm bảo tốc độ cao khi nhiều yêu cầu dài cùng lúc.
Cần benchmark ít nhất ba kiểu tải: câu hỏi tài liệu ngắn, câu hỏi KPI kết hợp dữ liệu và tác vụ Agent nhiều công cụ. Chỉ số nên gồm tỷ lệ thành công, p50/p95, thông lượng, bộ nhớ và chi phí.
Dữ liệu nội bộ có bắt buộc phải dùng model nội bộ?
Không nhất thiết. Quyết định phụ thuộc chính sách và quy định áp dụng, thỏa thuận với nhà cung cấp, mức dữ liệu gửi đi và cơ chế bảo vệ.
Nếu dùng API, cần xem nhà cung cấp lưu những gì, xử lý ở đâu, sử dụng dữ liệu theo chính sách nào, quản lý khóa ra sao và có phù hợp các điều kiện của khách hàng không.
Nếu chạy nội bộ, vẫn phải bảo vệ quyền truy cập dữ liệu nguồn, log, cache, bộ nhớ Agent và API. Model nằm trong máy chủ riêng nhưng dùng tài khoản DB toàn quyền vẫn có rủi ro lớn.
Chất lượng quan trọng hơn kích thước model
Một model nhỏ có thể đủ để phân loại yêu cầu và diễn giải KPI khi công cụ định lượng tạo con số đáng tin. Một model lớn chưa chắc làm tốt hơn nếu nguồn tài liệu sai hoặc phép đo không chuẩn.
Bộ đánh giá nên có câu hỏi chuẩn theo nghiệp vụ, câu thiếu dữ liệu, câu vượt quyền, câu có nhiều nguồn và tác vụ thực thi có phê duyệt. Với mỗi model, cần kiểm tra chất lượng tiếng Việt, tool calling, cách xử lý lỗi và độ trễ.
Nếu đổi model, phải kiểm thử hồi quy để tránh giảm chất lượng chỉ vì chi phí thấp.
Chiến lược hybrid và định tuyến model
Một kiến trúc có thể dùng model nội bộ cho dữ liệu bị hạn chế, API cho nhiệm vụ được phép và model nhỏ cho phân loại đơn giản. Nhưng điều kiện dữ liệu nào được gửi đi đâu phải được thực thi tự động qua chính sách, không để Agent tự chọn theo cảm tính.
Hybrid làm tăng công xây dựng router, giám sát và kiểm thử, nên chỉ phù hợp khi lợi ích rõ ràng.
Ma trận quyết định dành cho lãnh đạo
Bắt đầu bằng năm câu hỏi: dữ liệu có được phép gửi ra ngoài không; khối lượng tác vụ có ổn định không; đội ngũ có vận hành GPU được không; mức độ trễ yêu cầu thế nào; và tổng chi phí một đến ba năm ra sao.
Nếu tải thấp, biến động mạnh và chính sách cho phép, API thường là lựa chọn đáng đánh giá trước. Nếu cần kiểm soát môi trường chặt và tải ổn định, mô hình tự triển khai có thể kinh tế hơn sau khi tính đủ chi phí. Kết luận vẫn cần số đo thực tế.
Câu hỏi thường gặp
Model mã nguồn mở có miễn phí hoàn toàn không?
Không. Cần xem giấy phép và tính chi phí GPU, điện, lưu trữ, nhân sự và bảo trì.
Fine-tune có giúp giảm chi phí API không?
Có thể trong một số bài toán, nhưng cũng phát sinh chi phí huấn luyện, dữ liệu, đánh giá và vận hành. Không nên coi fine-tune là bắt buộc khi RAG và công cụ tốt đã đáp ứng.
Có thể chuyển model từ API sang nội bộ mà không sửa phần mềm?
Có thể giảm công nếu kiến trúc tách model provider, nhưng vẫn phải kiểm thử chất lượng, format tool call, tokenization và hiệu năng.
Kết luận
So sánh LLM nội bộ và API phải dựa trên nhiệm vụ thật, chất lượng thật, số lượt suy luận, quyền dữ liệu và tổng chi phí. Một kiến trúc AI bền vững cần cho phép lựa chọn hoặc thay model khi điều kiện thay đổi.
Xem thêm so sánh AI On-Premise và Cloud và chi phí token AI Agent.
Bạn đang đánh giá giải pháp AI điều hành theo dữ liệu doanh nghiệp? Liên hệ BMB để thảo luận nhu cầu và đăng ký xem demo BMB Insight. Nội dung mang tính tư vấn và ví dụ minh họa; chức năng phải được xác nhận theo phiên bản, nguồn dữ liệu và phạm vi triển khai.
Giải pháp BMB liên quan
- BMB Agent Studio - Nền tảng xây dựng và vận hành AI Agent. Thiết kế luồng xử lý, quy định quyền hành động và bố trí bước phê duyệt.