Chuyển đến nội dung chính

Kiểm soát dashboard IOC khi nguồn dữ liệu đến chậm

Cách đo độ tươi, gắn trạng thái chất lượng và đối soát dữ liệu bù để dashboard IOC không tạo kết luận sai khi nguồn đến chậm.

Sơ đồ kiểm tra độ tươi và đối soát dữ liệu gửi bù trên dashboard IOC BMB

Đăng ngày

Kiểm soát dashboard IOC khi nguồn dữ liệu đến chậm

Khi nguồn dữ liệu đến chậm, dashboard IOC phải ưu tiên nói rõ “dữ liệu đến thời điểm nào” trước khi hiển thị màu cảnh báo hoặc xu hướng. Cách an toàn là đo độ tươi theo từng nguồn, gắn trạng thái chất lượng vào từng chỉ số và ngừng kết luận khi dữ liệu vượt ngưỡng cho phép. Giữ số cũ mà không cảnh báo khiến người điều hành tưởng tình hình hiện tại vẫn giống lần cập nhật trước.

Tình huống với số liệu mẫu

Giả sử dashboard theo dõi 20 chỉ tiêu từ bốn nguồn. Nguồn A cập nhật 15 phút một lần, B theo giờ, C cuối ngày và D gần thời gian thực. Lúc 10 giờ, đường truyền của B gián đoạn nhưng màn hình vẫn giữ giá trị 8 giờ. Nếu biểu đồ tổng cộng A và B, số tổng giảm giả tạo vì A tiếp tục tăng còn B đứng yên, dẫn tới một cảnh báo “sụt giảm” không phản ánh thực tế.

Trong dữ liệu mẫu, ngưỡng độ tươi của B là 90 phút. Lúc 9 giờ 31, thẻ chỉ tiêu chuyển sang trạng thái “chậm”, ghi lần cập nhật 8 giờ và không tính phần trăm thay đổi so với 9 giờ hôm trước. Chỉ tiêu tổng hợp phụ thuộc B được gắn “chưa đủ dữ liệu”; các chỉ tiêu chỉ dùng A vẫn hoạt động. Đến 10 giờ 20, B gửi bù 1.200 bản ghi, IOC đối soát rồi mới mở lại so sánh xu hướng.

Mô hình độ tươi cần có

Mỗi tập dữ liệu nên khai báo lịch dự kiến, độ trễ chấp nhận, thời gian ân hạn và người phụ trách. IOC ghi event_time là lúc sự kiện xảy ra, source_time là lúc nguồn lưu và ingest_time là lúc nhận. Độ trễ nguồn bằng chênh lệch giữa hai mốc đầu, còn độ trễ tích hợp dựa trên hai mốc sau. Không nên dùng thời gian tải tệp làm đại diện duy nhất cho độ mới của nội dung.

Chỉ tiêu tổng hợp phải kế thừa trạng thái xấu nhất của các nguồn bắt buộc. Nếu một nguồn là tùy chọn, quy tắc tính cần nêu rõ cách xử lý khi thiếu. Không được âm thầm coi giá trị thiếu là 0. Đối với tỷ lệ, thiếu mẫu số phải làm chỉ tiêu không tính được thay vì hiển thị 0%, vì hai ý nghĩa hoàn toàn khác nhau.

Quy trình kiểm soát trên dashboard

Bước đầu, hệ thống đánh giá độ tươi trước khi tính chỉ tiêu. Nếu nguồn vượt ngưỡng, bản ghi chất lượng được tạo với mã nguyên nhân sơ bộ. Bộ tính toán kiểm tra quan hệ phụ thuộc và xác định thẻ, biểu đồ, cảnh báo nào bị ảnh hưởng. Nhờ vậy, dashboard không tắt toàn bộ chỉ vì một nguồn chậm.

Khi dữ liệu đến bù, hệ thống đưa vào vùng kiểm tra, so số lượng, khóa nghiệp vụ, khoảng thời gian và tổng kiểm soát. Nếu nguồn gửi lại cả ngày, quy tắc hợp nhất phải chống trùng. Dashboard chỉ bỏ nhãn chậm sau khi phép đối soát đạt; nếu dữ liệu đã đến nhưng chất lượng sai, trạng thái chuyển sang “cần xác minh” thay vì trở lại bình thường.

Cuối cùng, các cảnh báo tạo trong thời gian thiếu dữ liệu được đánh giá lại. Cảnh báo giả được đóng với lý do “nguồn chậm”, không xóa lịch sử. Cảnh báo vẫn đúng được giữ thời điểm phát hiện ban đầu và bổ sung bằng chứng mới. Cách này giúp thống kê riêng sự cố dữ liệu và sự cố nghiệp vụ.

Xử lý các ngoại lệ

Nguồn có thể gửi bản ghi không theo thứ tự. Một sự kiện xảy ra lúc 8 giờ nhưng đến sau bản ghi 9 giờ không được coi là trạng thái mới nhất nếu khóa và phiên bản cho thấy nó cũ hơn. IOC cần quy tắc theo thời điểm nghiệp vụ hoặc số phiên bản, không đơn thuần lấy bản ghi đến cuối.

Một nguồn định kỳ có ngày nghỉ hoặc kỳ chốt đặc biệt. Lịch độ tươi cần hỗ trợ lịch nghiệp vụ, nếu không dashboard sẽ báo chậm vào thời điểm không yêu cầu cập nhật. Khi lịch thay đổi đột xuất, việc miễn cảnh báo phải có người phê duyệt, thời gian hiệu lực và lý do.

Tiêu chí kiểm tra định lượng

Tập kiểm thử nên mô phỏng nguồn đúng hạn, chậm, mất kết nối, gửi bù, gửi trùng và gửi bản ghi cũ. Với mỗi trường hợp, nhóm kiểm tra trạng thái nguồn, các chỉ tiêu phụ thuộc và cảnh báo liên quan. Giá trị thiếu không được biến thành 0; chỉ tiêu bị ảnh hưởng không được hiển thị như số hiện hành.

Điều kiện đạt mẫu gồm 100% chỉ tiêu hiển thị thời điểm cập nhật; 100% nguồn vượt ngưỡng đổi trạng thái trong một chu kỳ giám sát; dữ liệu gửi bù không làm tăng bản ghi trùng; tổng kiểm soát sau bù khớp nguồn. Phân quyền chi tiết phải bảo đảm người xem dashboard tổng hợp không tự động có quyền đọc bản ghi nguồn.

Giám sát vận hành cần đo tỷ lệ nguồn đúng hạn, tuổi dữ liệu lớn nhất, số lần gửi bù và thời gian từ lúc nhận bù đến lúc xác nhận. Nếu nhãn “chậm” xuất hiện thường xuyên, nhóm phụ trách phải xử lý năng lực tích hợp hoặc điều chỉnh lịch trên căn cứ thực tế, không chỉ tăng ngưỡng để làm dashboard xanh.

Câu hỏi thường gặp

Có nên giữ giá trị cũ khi nguồn chậm không? Có thể giữ để tham khảo nếu ghi rõ thời điểm và không dùng nó cho kết luận cần dữ liệu hiện hành. Chính sách tùy theo mức rủi ro của chỉ tiêu.

Nguồn hoạt động lại có bỏ cảnh báo ngay không? Không. Cần đối soát dữ liệu bù và kiểm tra trùng, thiếu trước khi đưa chỉ tiêu về trạng thái bình thường.

Xem thêm Hệ thống chỉ đạo, điều hành thông minh IOC BMB và cách kiểm tra dữ liệu trước khi hiển thị bản đồ.

Nguồn tham khảo