
Tin doanh nghiệp
Đăng ngày
Dữ liệu thiếu có làm mất giá trị phân tích xu hướng không?
Dữ liệu thiếu không tự động làm một chuỗi thời gian mất giá trị, nhưng không được phép lấp khoảng trống theo thói quen rồi tiếp tục tính toán như chưa từng có sự cố. Cách an toàn là xác định vì sao dữ liệu vắng, đo tỷ lệ thiếu theo từng khoảng thời gian, chọn phương pháp xử lý phù hợp với mục đích phân tích và giữ một cờ chất lượng để người đọc biết điểm nào là số quan sát, điểm nào là số ước tính. Trên BMB Analytics, chuỗi dùng để theo dõi vận hành có thể được trình bày đồng thời với độ phủ dữ liệu, nhờ đó xu hướng không che khuất vấn đề từ nguồn.
Bắt đầu từ câu hỏi nghiệp vụ, không bắt đầu từ thuật toán
Một khoảng trống có ý nghĩa khác nhau tùy chỉ tiêu. Thiếu doanh thu trong hai giờ do kết nối cửa hàng gián đoạn khác với không phát sinh đơn hàng. Thiếu một ngày đo nhiệt độ kho có thể làm mất bằng chứng giám sát, trong khi thiếu một giá trị khảo sát đôi khi chỉ ảnh hưởng nhẹ đến tỷ lệ tổng hợp. Trước khi xử lý, nhóm phân tích phải ghi rõ quyết định cần hỗ trợ: xem xu hướng dài hạn, phát hiện bất thường theo giờ, chốt báo cáo tháng hay dự báo tuần tới. Cùng một chuỗi có thể được phép ước tính để vẽ xu hướng tham khảo nhưng không được dùng số ước tính làm căn cứ đối soát tài chính. Ranh giới này cần xuất hiện trong đặc tả chỉ tiêu, không để người dùng tự suy luận từ biểu đồ.
Phân loại nguyên nhân trước khi chọn cách bù
Có ba nhóm nguyên nhân thường gặp. Thứ nhất là thiếu ngẫu nhiên do một vài bản ghi lỗi hoặc truyền chậm; các điểm xung quanh vẫn đầy đủ. Thứ hai là thiếu theo cụm, chẳng hạn một thiết bị ngừng gửi dữ liệu sáu giờ hoặc một chi nhánh chưa nộp báo cáo ba ngày. Thứ ba là thiếu có điều kiện, ví dụ hệ thống chỉ ghi nhận giao dịch đã thành công nên không có dữ liệu cho các lần thất bại. Nhóm thứ ba nguy hiểm nhất vì khoảng trống phản ánh cơ chế thu thập, không phải nhiễu kỹ thuật. Nếu bù bằng trung bình, phân tích có thể tạo ra một bức tranh đẹp nhưng sai. Vì vậy hồ sơ xử lý nên chứa mã nguyên nhân, nguồn xác nhận, thời gian bắt đầu, thời gian khôi phục và người chấp thuận phương án.
Ví dụ định lượng với dữ liệu mẫu
Giả sử một chuỗi mẫu có doanh thu theo giờ của 20 cửa hàng trong 30 ngày, tương đương 14.400 điểm. Hệ thống nhận đủ 14.112 điểm và thiếu 288 điểm, tức độ phủ 98%. Tuy nhiên, 240 điểm thiếu tập trung tại hai cửa hàng trong sáu giờ cao điểm của một ngày khuyến mại. Nếu chỉ nhìn tỷ lệ 2% toàn chuỗi, nhóm vận hành có thể đánh giá sai mức ảnh hưởng. Khi tách theo cửa hàng và khung giờ, hai cửa hàng đó có độ phủ chỉ 50% trong cửa sổ cần phân tích. Báo cáo nên hiển thị cả độ phủ toàn bộ, độ phủ theo đơn vị và độ phủ trong cửa sổ quyết định. Các con số này là dữ liệu minh họa, nhằm cho thấy tỷ lệ chung không thay thế được kiểm tra phân bố khoảng trống.
Chọn phương pháp xử lý theo độ dài khoảng trống
Với một hoặc hai điểm thiếu giữa chuỗi ổn định, nội suy tuyến tính có thể phù hợp để duy trì đường xu hướng, miễn là biến không thay đổi đột ngột. Với khoảng trống dài hơn, có thể dùng mẫu cùng giờ của các ngày tương đương, trung vị theo mùa hoặc mô hình dự báo đã kiểm định. Không nên kéo giá trị gần nhất qua một khoảng dài nếu chỉ tiêu có chu kỳ rõ, vì cách đó tạo ra một đoạn phẳng giả. Đối với tổng doanh thu, lựa chọn tốt hơn đôi khi là giữ trống, chờ dữ liệu đến muộn và công bố trạng thái tạm tính. Đối với cảnh báo thời gian thực, hệ thống có thể tạm dùng biên an toàn nhưng phải hạ mức tin cậy. Mỗi phương pháp cần nêu điều kiện áp dụng và giới hạn tối đa của khoảng bù.
Quy trình sáu bước có thể kiểm tra lại
Quy trình nên bắt đầu bằng việc khóa một bản chụp dữ liệu để kết quả không thay đổi trong lúc rà soát. Tiếp theo, hệ thống lập ma trận độ phủ theo nguồn, đơn vị và thời gian; sau đó gắn nguyên nhân cho từng khoảng trống. Bước bốn là chạy các phương án xử lý trên bản sao, chẳng hạn giữ trống, nội suy và dùng mẫu theo mùa. Bước năm so sánh ảnh hưởng lên tổng, trung bình, tốc độ tăng và số cảnh báo. Cuối cùng, người có trách nhiệm chọn phương án, ghi lý do và phát hành phiên bản dữ liệu đã xử lý. Khi nguồn gửi bù, hệ thống phải tính lại từ dữ liệu thật, không biến số ước tính thành bản ghi gốc. Nhật ký cần liên kết được từ ô trên biểu đồ tới quy tắc đã áp dụng.
Kiểm tra độ nhạy trước khi công bố
Một phương án chỉ đạt khi kết luận không phụ thuộc quá mạnh vào cách lấp dữ liệu. Nhóm phân tích có thể tính cùng chỉ tiêu theo ba kịch bản: giữ trống, ước tính thận trọng và ước tính cơ sở. Nếu tăng trưởng tháng lần lượt là 4,8%, 5,1% và 5,3%, kết luận “tăng khoảng 5%” ổn định. Nếu kết quả là âm 1%, dương 3% và dương 8%, dữ liệu chưa đủ để kết luận chiều hướng. Ngoài chênh lệch kết quả, cần kiểm tra sai số trên một giai đoạn lịch sử bằng cách chủ động che đi các điểm đã biết rồi đo khả năng khôi phục. Sai số phải được xem riêng theo ngày thường, cuối tuần và kỳ cao điểm thay vì gộp thành một con số dễ gây lạc quan.
Tiêu chí nghiệm thu trên BMB Analytics
Một cấu hình xử lý dữ liệu thiếu có thể nghiệm thu khi người dùng nhìn thấy độ phủ và trạng thái chất lượng cạnh chỉ tiêu; truy ngược được điểm ước tính về quy tắc; thay dữ liệu mẫu bằng dữ liệu thật thì kết quả tự tính lại; và báo cáo đã chốt không âm thầm đổi phiên bản. Kiểm thử nên tạo ít nhất bốn tình huống: thiếu một điểm, thiếu liên tục, dữ liệu đến muộn và thiếu có điều kiện theo một nhóm đơn vị. Với mỗi tình huống, cần đối chiếu số điểm đầu vào, số điểm giữ trống, số điểm được bù và ảnh hưởng lên KPI. Có thể liên kết thêm bài giải thích chỉ tiêu thay đổi do dữ liệu đến muộn để phân biệt xử lý khoảng trống với quản lý phiên bản.