
Tin doanh nghiệp
Đăng ngày
Xử lý dữ liệu thiếu trước phân tích xu hướng
Dữ liệu thiếu cần phân loại nguyên nhân trước khi xử lý vì mỗi cách có thể đổi xu hướng. Với BMB Analytics, quy trình an toàn là giữ dấu vết thiếu, đo mức độ theo thời gian và nhóm, kiểm tra cơ chế phát sinh, sau đó so kết quả giữa các phương án. Không nên tự động thay mọi ô trống bằng 0 hay trung bình; hai lựa chọn này thường tạo tín hiệu giả và làm giảm biến động thực tế.
Tình huống mẫu: doanh thu giảm hay nguồn gửi chậm?
Một đơn vị theo dõi doanh thu ngày của 25 điểm bán. Tuần gần nhất, tổng ghi nhận giảm 12%. Ba điểm bán chưa gửi dữ liệu trong hai ngày cuối, chiếm khoảng 16% doanh thu thông thường. Nếu coi ô trống là 0, dashboard báo suy giảm; nếu bỏ ba điểm khỏi mẫu số, mức tăng ở phần còn lại bị phóng đại.
Nhóm tạo ba lát cắt: dữ liệu đã nhận, tập cửa hàng luôn đầy đủ và ước tính tạm theo mẫu lịch sử. Lát cắt đầy đủ cho thấy doanh thu tương đương tuần trước; vì vậy trạng thái phù hợp là “chưa đủ dữ liệu để kết luận”, không phải “doanh thu giảm”. Các con số trong bài là dữ liệu mẫu minh họa, không phản ánh hoạt động khách hàng.
Phân biệt giá trị không, chưa phát sinh và bị thiếu
Giá trị 0 có thể là quan sát hợp lệ, như cửa hàng đóng cửa theo lịch hoặc không bán được sản phẩm. Ô trống có thể do tệp chưa tới, lỗi ánh xạ, bản ghi bị loại hoặc chỉ tiêu không áp dụng. “Chưa phát sinh” lại là trạng thái nghiệp vụ khác, chẳng hạn khách hàng mới chưa đến kỳ thanh toán. Nếu ba trạng thái dùng chung giá trị rỗng, mọi phép tính sau đó đều mơ hồ.
Mô hình dữ liệu nên giữ mã trạng thái và lý do thiếu bên cạnh giá trị. Khi hiển thị, người dùng cần biết tỷ lệ đầy đủ, thời điểm cập nhật cuối và danh sách nguồn trễ. BMB Analytics không nên che thiếu dữ liệu bằng con số đã điền mà không gắn cờ; giá trị ước tính phải truy ngược được phương pháp và phiên bản.
Lập bản đồ thiếu dữ liệu theo thời gian và nhóm
Bước đầu là tính tỷ lệ thiếu theo ngày, nguồn, chỉ tiêu và đơn vị. Một tỷ lệ chung 3% có thể trông nhỏ nhưng nếu toàn bộ tập trung ở cuối tháng hoặc một khu vực trọng yếu, tác động đến xu hướng rất lớn. Ma trận đầy đủ giúp phát hiện các cột cùng mất, gợi ý lỗi luồng tích hợp, hoặc các đợt thiếu lặp lại đúng ngày chốt.
Tiếp theo, so nhóm có dữ liệu và nhóm thiếu bằng các đặc điểm đã biết. Nếu cửa hàng nhỏ thường gửi chậm, dữ liệu quan sát sẽ thiên về cửa hàng lớn. Nếu khách có dư nợ cao ít trả lời khảo sát, việc loại bản ghi thiếu có thể làm đánh giá rủi ro thấp giả tạo. Cơ chế thiếu hoàn toàn ngẫu nhiên hiếm khi nên được mặc định; nhóm cần ghi bằng chứng thay vì chỉ chọn thuật ngữ.
Chọn phương án theo mục đích phân tích
Loại bỏ bản ghi có thể chấp nhận khi tỷ lệ thiếu rất thấp, không tập trung theo nhóm và việc loại không làm đổi cấu trúc mẫu. Với chuỗi thời gian, loại cả ngày thường tạo khoảng cách không đều, ảnh hưởng tốc độ tăng và mô hình mùa vụ. Chỉ dùng các ngày đầy đủ cũng có thể bỏ đúng những kỳ hệ thống chịu tải cao.
Điền tiến giá trị gần nhất phù hợp với trạng thái tồn tại cho đến khi có sự kiện mới, như mức cấu hình, nhưng không phù hợp cho doanh thu ngày. Nội suy tuyến tính có thể dùng cho cảm biến biến đổi trơn trong khoảng ngắn, không nên bắc qua giai đoạn có sự kiện đột biến. Trung bình theo ngày trong tuần giúp tạo ước tính tạm nhưng làm giảm biến động và không được dùng như số thực để đánh giá hiệu suất.
Nếu dùng mô hình điền cho dự báo, chỉ được dùng thông tin có sẵn tại thời điểm phân tích; dùng dữ liệu tương lai để điền quá khứ sẽ tạo rò rỉ. Bài xử lý dữ liệu thiếu trong chuỗi thời gian cung cấp nền tảng liên quan.
So sánh độ nhạy giữa các phương án
Không nên chọn cách điền chỉ vì tạo đường biểu đồ mượt. Nhóm cần chạy ít nhất hai phương án hợp lý và so dấu, độ lớn của xu hướng. Trong ví dụ mẫu, coi thiếu là 0 cho mức giảm 12%; chỉ dùng cửa hàng đầy đủ cho mức tăng 0,8%; ước tính theo cùng thứ trong bốn tuần cho mức giảm 0,4%. Sự khác biệt lớn cho thấy kết luận phụ thuộc cách xử lý, vì vậy báo cáo phải ưu tiên trạng thái chưa hoàn chỉnh.
Khi các phương án cho cùng hướng và chênh lệch nhỏ, kết luận bền hơn. Giá trị đã điền vẫn không phải quan sát thật; dashboard cần hiển thị tỷ trọng ước tính. Khi dữ liệu bổ sung tới, hệ thống cập nhật phiên bản và nêu mức thay đổi.
Ngoại lệ thường gặp
Lịch sử trước ngày một chỉ tiêu có hiệu lực là “không áp dụng”, không phải thiếu để nội suy. Thay đổi mã đơn vị cũng tạo thiếu giả khi mã cũ dừng và mã mới xuất hiện; cần bảng ánh xạ có ngày hiệu lực. Bài đối soát dashboard với báo cáo nguồn hỗ trợ kiểm tra tổng và phiên bản.
Tiêu chí kiểm tra trước khi công bố xu hướng
Tập dữ liệu đạt yêu cầu khi mỗi giá trị thiếu có trạng thái; tỷ lệ đầy đủ được đo theo kỳ và nhóm; nguồn trọng yếu không dưới ngưỡng đã phê duyệt; phương pháp điền phù hợp bản chất biến; và giá trị ước tính được gắn cờ. Nhóm kiểm thử nên tạo dữ liệu mẫu có khoảng trống đầu kỳ, cuối kỳ, nhiều ngày liên tiếp và thiếu tập trung ở một nhóm để kiểm tra hành vi.
Kết quả phải tái lập được từ ảnh dữ liệu, quy tắc và phiên bản mã. Báo cáo nêu số quan sát thực, số ước tính và tác động của phương án thay thế. Nếu tỷ lệ thiếu vượt biên hoặc kết luận đảo chiều, hệ thống phải cảnh báo chất lượng và chỉ rõ dữ liệu cần bổ sung.
Câu hỏi thường gặp
Có nên thay ô trống bằng 0 không?
Chỉ khi quy tắc nghiệp vụ xác nhận ô trống thực sự có nghĩa là không phát sinh. Nếu nguyên nhân là chưa nhận được dữ liệu, thay 0 sẽ tạo mức giảm giả.
Tỷ lệ thiếu bao nhiêu là chấp nhận được?
Không có một ngưỡng chung. Cần xét mức tập trung, vai trò của nhóm bị thiếu và độ nhạy kết quả. Một phần trăm thiếu ở nhóm chiếm nửa doanh thu có thể nghiêm trọng hơn mười phần trăm ở chỉ tiêu phụ.