Chuyển đến nội dung chính

Phân biệt cảnh báo do thiếu dữ liệu và bất thường thật trên IOC

Cách đặt cổng chất lượng dữ liệu trước quy tắc cảnh báo, phân loại nguyên nhân và định tuyến đúng nhóm xử lý.

Sơ đồ kiểm tra độ phủ và phân loại cảnh báo dữ liệu hoặc bất thường nghiệp vụ trên IOC BMB

Đăng ngày

Phân biệt cảnh báo do thiếu dữ liệu và bất thường thật trên IOC

IOC không nên chuyển mọi biến động thành cảnh báo điều hành. Trước khi giao nhiệm vụ, hệ thống cần xác định dữ liệu có đầy đủ, đúng hạn và so sánh được hay không; sau đó mới đánh giá mức lệch so với ngưỡng và bối cảnh nghiệp vụ. Cảnh báo do nguồn ngừng gửi phải được chuyển cho nhóm vận hành dữ liệu, còn bất thường thật mới chuyển đến đơn vị chịu trách nhiệm xử lý nghiệp vụ.

Hai loại sự cố có biểu hiện giống nhau

Một biểu đồ giảm mạnh có thể phản ánh kết quả thực tế giảm, nhưng cũng có thể do một nguồn chưa gửi dữ liệu. Ví dụ số hồ sơ tiếp nhận trong ngày từ trung bình 500 giảm còn 120. Nếu bốn trong năm đơn vị đã gửi đủ và một đơn vị lớn mất kết nối, tổng giảm không nói lên nhu cầu của người dân thay đổi. Nếu dữ liệu đầy đủ mà cả năm đơn vị đều giảm, đó mới là tín hiệu nghiệp vụ cần phân tích.

Lớp kiểm tra sức khỏe dữ liệu

Trước mỗi quy tắc cảnh báo, IOC cần một cổng chất lượng. Cổng này xem nguồn có gửi đúng lịch không, số bản ghi có nằm trong biên thông thường không, các trường bắt buộc có đầy đủ không và thời điểm mới nhất cách hiện tại bao lâu. Với dữ liệu theo giờ, ngưỡng trễ có thể là 30 phút; với báo cáo ngày, ngưỡng có thể đến giờ chốt quy định.

Độ đầy đủ nên được tính theo nguồn và theo phân đoạn, không chỉ toàn hệ thống. Tổng số bản ghi vẫn đủ nhưng một huyện chưa có dữ liệu thì chỉ tiêu toàn tỉnh có thể bị lệch. Hệ thống cần biết tỷ trọng lịch sử của nguồn bị thiếu để ước tính mức ảnh hưởng. Ước tính này chỉ phục vụ phân loại cảnh báo, không được dùng thay số thật trong báo cáo công bố.

Quy trình phân loại bốn bước

Bước một là phát hiện tín hiệu: chỉ tiêu vượt ngưỡng, thay đổi nhanh hoặc khác mẫu hình. Bước hai là chạy kiểm tra dữ liệu. Nếu có nguồn trễ, thiếu trường quan trọng, lỗi ánh xạ hoặc khối lượng bất thường ở đường nạp, tín hiệu được gắn nhãn “nghi ngờ chất lượng dữ liệu”.

Bước ba là đánh giá nghiệp vụ khi dữ liệu đã qua cổng chất lượng. Hệ thống so sánh với cùng ngày trong tuần, mùa vụ, kế hoạch và các sự kiện đã biết. Bước bốn là định tuyến. Sự cố dữ liệu đến nhóm tích hợp hoặc chủ nguồn; bất thường nghiệp vụ đến đơn vị chuyên môn; trường hợp chưa đủ căn cứ được chuyển vào hàng đợi xác minh, không tự động kết luận.

Ví dụ với dữ liệu mẫu

Giả sử IOC theo dõi số phản ánh hiện trường của bốn khu vực. Trung bình bảy ngày là 800 phản ánh/ngày. Đến 10 giờ, hệ thống dự báo cả ngày chỉ có 420, thấp hơn ngưỡng 30%. Kiểm tra độ phủ cho thấy khu vực A, B và C đã gửi dữ liệu đến 9 giờ 55 phút, còn khu vực D dừng ở 2 giờ và thường chiếm 38% khối lượng.

IOC phân loại đây là cảnh báo dữ liệu mức cao, tạo nhiệm vụ kiểm tra đường truyền cho chủ nguồn D và tạm ngưng cảnh báo nghiệp vụ “số phản ánh giảm”. Khi nguồn D được khôi phục, tổng dự báo tăng lên 790 và tín hiệu biến mất. Nếu sau khôi phục tổng vẫn chỉ là 500, IOC mới mở cảnh báo nghiệp vụ kèm ghi chú dữ liệu đã đủ.

Ở tình huống khác, cả bốn nguồn đều cập nhật đủ nhưng phản ánh về ngập tăng từ mức 20 lên 180 trong 45 phút, tập trung ở hai phường. Dữ liệu có khóa duy nhất, vị trí hợp lệ và nhiều người gửi khác nhau. IOC đánh dấu bất thường thật, định tuyến cho đơn vị chuyên môn và yêu cầu xác nhận hiện trường. Các số liệu trong ví dụ đều là dữ liệu mẫu, không phải kết quả của khách hàng.

Việc cấu hình có thể được thực hiện trên Hệ thống chỉ đạo, điều hành thông minh IOC BMB theo nguồn dữ liệu và quy trình của cơ quan sử dụng.

Thiết kế ngưỡng để giảm báo động giả

Một ngưỡng cố định phù hợp với chỉ tiêu có biên rõ, chẳng hạn tỷ lệ lỗi không được vượt 2%. Với chỉ tiêu biến động theo giờ hoặc theo mùa, nên dùng đường cơ sở theo cùng khung thời gian và bổ sung giới hạn tối thiểu về số lượng. Tăng 100% từ một lên hai chưa chắc đáng báo động, trong khi tăng 30% từ 10.000 lên 13.000 có thể rất quan trọng.

IOC cũng cần khoảng chờ và điều kiện duy trì. Chỉ tạo cảnh báo khi tín hiệu tồn tại qua hai hoặc ba lần đo, trừ trường hợp khẩn cấp. Cơ chế chống lặp gom các cảnh báo cùng nguyên nhân thành một sự cố, nhưng vẫn cập nhật diễn biến. Sau khi người dùng xác nhận báo động giả, phản hồi được dùng để điều chỉnh quy tắc có kiểm soát, không tự động nới ngưỡng.

Ngoại lệ cần xử lý rõ

Trong thời gian bảo trì nguồn, IOC cần lịch miễn trừ có người phê duyệt và thời hạn cụ thể. Miễn trừ chỉ tắt cảnh báo đã biết, không che các lỗi khác. Nếu một nguồn gửi bù sau gián đoạn, khối lượng tăng đột biến phải được nhận diện là dữ liệu bù, tránh tạo cảnh báo nghiệp vụ sai.

Tiêu chí kiểm tra trước khi vận hành

Bộ quy tắc đạt yêu cầu khi phát hiện được nguồn ngừng gửi trong thời gian cam kết; không phát cảnh báo nghiệp vụ từ bộ dữ liệu dưới ngưỡng đầy đủ; hiển thị được lý do phân loại; và định tuyến đúng nhóm phụ trách. Nhóm kiểm thử nên dùng dữ liệu mẫu để mô phỏng mất một nguồn, gửi trễ, gửi trùng, thay đổi danh mục và bất thường nghiệp vụ thật.

Câu hỏi thường gặp

Có nên thay dữ liệu thiếu bằng giá trị ước tính để IOC tiếp tục chạy không?

Có thể dùng ước tính để đánh giá rủi ro nội bộ nếu được gắn nhãn rõ, nhưng không nên trình bày như dữ liệu thực hoặc dùng cho báo cáo chính thức. Cảnh báo phải cho biết tỷ lệ ước tính.

Ai chịu trách nhiệm đóng cảnh báo dữ liệu?

Chủ nguồn hoặc nhóm vận hành dữ liệu xác nhận luồng đã phục hồi; hệ thống tự kiểm tra lại độ đầy đủ trước khi đóng. Người xử lý nghiệp vụ không nên đóng thay nếu chưa có bằng chứng kỹ thuật.

Một cảnh báo có thể vừa do dữ liệu vừa do nghiệp vụ không?

Có. IOC nên cho phép hai nhánh xử lý song song và chỉ kết luận cuối khi dữ liệu được khôi phục. Lịch sử phải giữ cả hai giả thuyết và bằng chứng loại trừ.

Nguồn tham khảo