Chuyển đến nội dung chính

Doanh nghiệp cần hạ tầng gì để vận hành hệ thống AI nội bộ?

Hạ tầng AI nội bộ gồm máy chủ ứng dụng, database, object storage, vector search, GPU, backup, bảo mật và giám sát. Cách sizing theo tải đồng thời.

Sơ đồ minh họa: Ứng dụng và dữ liệu → Model và GPU → Bảo mật và backup → Đo tải trước mở rộng

BMB Technology

Đăng ngày

Tóm tắt: Không có một cấu hình GPU cho mọi doanh nghiệp. Cần tách năng lực ứng dụng, dữ liệu, tìm kiếm và suy luận, rồi đo đồng thời, độ trễ và tính sẵn sàng.

Một doanh nghiệp dự kiến triển khai AI nội bộ thường bắt đầu bằng câu hỏi “Cần bao nhiêu GPU?”. Nhưng với một hệ thống phục vụ dữ liệu, tri thức, phân tích và AI Agent, GPU chỉ là một phần của kiến trúc.

Nếu thiếu cơ sở dữ liệu ổn định, kho tài liệu, cơ chế quyền và backup, việc mua GPU mạnh cũng không giúp hệ thống trả lời đúng hoặc vận hành tin cậy.

Hạ tầng AI nội bộ bao gồm những lớp gì?

Một hệ thống tham khảo có thể có:

  1. Lớp truy cập: Giao diện người dùng, xác thực, API, reverse proxy/load balancer và biện pháp bảo mật mạng.
  2. Lớp nghiệp vụ: Backend xử lý quyền, công cụ Agent, scheduler và workflow.
  3. Lớp dữ liệu: Database giao dịch, kho phân tích, object storage cho tài liệu, chỉ mục tìm kiếm.
  4. Lớp AI: Dịch vụ suy luận LLM, embedding, reranking và những công cụ thống kê/ML.
  5. Lớp vận hành: Logging, monitoring, backup, khôi phục, quản lý bí mật và triển khai bản cập nhật.

Không nhất thiết mỗi lớp là một máy vật lý. Tùy tải và mức độ cách ly, có thể chạy qua VM, container hoặc cụm dịch vụ.

Tách máy chủ ứng dụng khỏi nhu cầu GPU

Backend xử lý đăng nhập, phân quyền, truy vấn và API thường phụ thuộc CPU, RAM, I/O và mạng. Một tác vụ tính toán thống kê hoặc truy vấn SQL không nhất thiết cần GPU.

GPU chủ yếu phục vụ suy luận mô hình, đặc biệt với LLM lớn hoặc khi cần thông lượng cao. Embedding và reranking có thể chạy trên CPU hoặc GPU tùy model và khối lượng, không nên mặc định phải mua GPU riêng cho từng loại.

Việc nhúng các thành phần vào một máy lớn có thể đơn giản ở giai đoạn đầu, nhưng cần tính điểm lỗi đơn và khả năng bảo trì.

PostgreSQL và kho phân tích có vai trò gì?

PostgreSQL có thể quản lý dữ liệu nghiệp vụ, tenant, người dùng, quyền và các thực thể dùng chung. Kho phân tích phù hợp với truy vấn tổng hợp lớn và dữ liệu lịch sử.

Nếu dùng DuckDB/DuckLake hoặc engine tương đương, cần xác định luồng dữ liệu, giới hạn truy vấn, cách cập nhật và bảo vệ dữ liệu theo tenant. Không nên để một yêu cầu SQL nặng từ Agent gây ảnh hưởng tới giao dịch của ứng dụng.

Object storage như MinIO có thể lưu file tài liệu và dữ liệu phi cấu trúc, nhưng quyền bucket, object key và presigned URL cũng phải được kiểm tra.

Kho tri thức cần những thành phần nào?

Một trợ lý tài liệu thường cần bộ trích xuất nội dung, hệ thống lưu file gốc, metadata, chỉ mục từ khóa hoặc vector, và công cụ tìm kiếm/rerank.

Không phải mọi file PDF đều trích xuất tốt. Tài liệu scan có thể cần OCR và kiểm soát chất lượng. Việc lập chỉ mục hàng loạt tạo tải CPU/GPU và lưu trữ, nên cần kế hoạch nạp tài liệu riêng với luồng hỏi đáp thời gian thực.

Nếu kho tài liệu có quyền phức tạp, bộ lọc ACL hoặc cơ chế tách chỉ mục phải được thiết kế ngay từ đầu, tránh “đưa tất cả vào vector DB rồi chặn ở cuối”.

Chọn mô hình LLM theo workload

Số lượng người dùng đăng ký không bằng số yêu cầu đồng thời. Một doanh nghiệp có 100 tài khoản nhưng chỉ 10–30 người hoạt động cùng lúc sẽ có nhu cầu khác với 100 người liên tục dùng Agent nhiều bước.

Cần đo:

  • Tỷ lệ người sử dụng đồng thời vào giờ cao điểm.
  • Số lượt gọi mô hình trong một yêu cầu Agent.
  • Context đầu vào trung bình và p95.
  • Số token đầu ra trung bình và p95.
  • Ngưỡng thời gian phản hồi chấp nhận được.
  • Tỷ lệ tác vụ chỉ truy vấn SQL/RAG mà không cần LLM lớn.

VRAM cần phụ thuộc kích thước model, độ chính xác/quantization, KV cache, số phiên đồng thời và engine suy luận. Không nên tuyên bố một GPU cụ thể luôn phục vụ được chính xác bao nhiêu người nếu chưa benchmark.

Ví dụ quy mô 60 người dùng

Một công ty có 60 tài khoản, dự kiến 15 người đồng thời vào giờ cao điểm. Họ chủ yếu hỏi tài liệu và báo cáo KPI, thỉnh thoảng chạy tác vụ phân tích nhiều bước.

Có thể thử nghiệm trước với số lượng model phù hợp, phân tách dịch vụ ứng dụng/dữ liệu và suy luận, đo p95 độ trễ, token/s, thông lượng và bộ nhớ GPU thực.

Nếu phần lớn câu hỏi chỉ cần metric service, việc tối ưu router và công cụ SQL có thể đem lại cải thiện lớn hơn tăng kích thước model. Đây là bài toán giả định, không phải dự toán cấu hình hoặc cam kết hiệu năng của BMB Insight.

Có cần high availability cho tất cả dịch vụ không?

Không phải thành phần nào cũng cần hai bản sao ngay từ giai đoạn đầu. Cần xác định yêu cầu thời gian hoạt động, RPO/RTO và hậu quả của từng dịch vụ khi dừng.

Ví dụ, database chứa cấu hình và dữ liệu nghiệp vụ có thể cần cơ chế sao lưu và khôi phục chặt chẽ. Dịch vụ tạo embedding hàng loạt có thể tạm ngưng mà không làm mất dữ liệu, trong khi dịch vụ đăng nhập cần độ sẵn sàng cao hơn.

Thiết kế HA phải được kiểm thử failover, không chỉ thể hiện hai máy trên sơ đồ.

Backup và khôi phục cần chú ý những gì?

Nhiều hệ thống lưu dữ liệu ở nhiều nơi: PostgreSQL, object storage, kho phân tích, chỉ mục RAG và trạng thái tác vụ Agent.

Cần có kế hoạch backup tương thích thời điểm giữa các lớp, mã hóa, phân quyền và kiểm tra khôi phục định kỳ. Chỉ có bản sao file backup chưa chứng minh hệ thống có thể phục hồi.

Với dữ liệu nhạy cảm, bản backup cũng phải tuân theo chính sách quyền và vòng đời lưu trữ.

Hạ tầng bảo mật là bắt buộc, không phải tùy chọn

Một triển khai AI nội bộ cần quản lý định danh, quyền API, mạng, TLS, bí mật, cập nhật hệ điều hành, theo dõi lỗ hổng và giới hạn truy vấn.

Một Agent có thể tải tài liệu và gọi công cụ, nên cần kiểm soát đầu vào không đáng tin, chống prompt injection, giới hạn đường đi ra Internet và quyền truy cập theo người dùng.

On-premise không tự động an toàn chỉ vì không dùng API bên ngoài. Rủi ro từ quản trị yếu, quyền quá rộng và cấu hình sai vẫn tồn tại.

Đánh giá phương án một máy, nhiều VM hay cụm dịch vụ

Phương ánƯu điểmGiới hạn
Một máy/VM thử nghiệmDễ xây pilot, chi phí khởi động thấpĐiểm lỗi đơn, khó cách ly tải
Nhiều VM theo chức năngPhân bổ tài nguyên, backup và quyền rõ hơnQuản lý vận hành phức tạp hơn
Cụm HA và GPU mở rộngPhù hợp yêu cầu tải, sẵn sàng caoCần chi phí và năng lực vận hành

Nên xác định kiến trúc logic trước rồi mới ánh xạ sang host vật lý hoặc VM. Mua dư hạ tầng vì sợ thiếu có thể làm tổng chi phí cao mà chưa cải thiện chất lượng AI.

Checklist sizing trước khi mua thiết bị

  1. Chốt nhóm use case và KPI chất lượng.
  2. Phân loại dữ liệu, yêu cầu bảo mật, kết nối mạng và nơi lưu.
  3. Đo tải đồng thời bằng bài kiểm thử gần với thực tế.
  4. Benchmark mô hình và engine suy luận, gồm thời gian phản hồi p50/p95.
  5. Kiểm tra truy vấn SQL, RAG, lập chỉ mục và khả năng chạy song song.
  6. Tính HA, backup, lưu trữ tăng trưởng và năng lực hỗ trợ.
  7. Tính TCO một đến ba năm và phương án mở rộng.
  8. Thử nghiệm khôi phục và kiểm soát quyền trước khi vận hành.

Câu hỏi thường gặp

Một RTX 6000 có đủ cho 100 người dùng không?

Không thể kết luận chỉ từ số tài khoản. Cần biết phiên bản GPU, model, lượng tử hóa, số yêu cầu đồng thời, context và mục tiêu độ trễ.

Có thể thuê GPU trong nước thay vì mua không?

Có thể, tùy nhà cung cấp và yêu cầu dữ liệu. Cần so sánh tổng chi phí, khả năng vận hành và hợp đồng dịch vụ.

Có thể chạy LLM và PostgreSQL chung một máy không?

Có thể cho thử nghiệm nhỏ nếu tài nguyên phù hợp; với tải cao cần đánh giá cách ly và rủi ro tác vụ nặng ảnh hưởng hệ thống.

Kết luận

Hạ tầng AI nội bộ tốt không phải cấu hình GPU mạnh nhất, mà là hệ thống ứng dụng, dữ liệu, tri thức, bảo mật và suy luận được đo tải, cách ly và vận hành nhất quán.

Khi đánh giá BMB Insight, nên bắt đầu bằng workload và yêu cầu dữ liệu của khách hàng, không dùng một cấu hình phần cứng cố định cho mọi đơn vị.

Đọc thêm so sánh AI On-Premise và Cloud và chi phí token, độ trễ AI Agent.


BMB Insight hướng tới dữ liệu và AI doanh nghiệp có kiểm soát. Liên hệ BMB để trao đổi yêu cầu và đăng ký demo. Nội dung là hướng dẫn và kịch bản tham khảo; tính năng, cấu hình và hiệu năng phải được xác minh theo phiên bản, dữ liệu và phạm vi triển khai.

Giải pháp BMB liên quan

Bài viết liên quan