Chuyển đến nội dung chính

Phát hiện drift dữ liệu giữa các kỳ như thế nào?

Cách chọn đường cơ sở, đo thay đổi phân bố, phân biệt lỗi nguồn với biến động nghiệp vụ và đánh giá tác động mô hình.

Sơ đồ chọn đường cơ sở đo drift điều tra nguyên nhân và quyết định xử lý trên BMB Analytics

Đăng ngày

Phát hiện drift dữ liệu giữa các kỳ như thế nào?

Drift dữ liệu là sự thay đổi phân bố đầu vào hoặc quan hệ giữa đầu vào và kết quả so với giai đoạn tham chiếu. Muốn phát hiện đúng, cần chọn đường cơ sở phù hợp, theo dõi cả biến đơn lẻ và tổ hợp, phân biệt thay đổi nghiệp vụ với lỗi nguồn, rồi kiểm tra tác động lên mô hình hoặc chỉ số. Trên BMB Analytics, cảnh báo drift nên nêu biến nào thay đổi, mức độ, nhóm chịu ảnh hưởng, thời điểm bắt đầu và bằng chứng chất lượng dữ liệu. Drift là tín hiệu điều tra, không phải kết luận mô hình đã hỏng.

Phân biệt ba loại thay đổi

Covariate drift xảy ra khi phân bố đầu vào thay đổi, chẳng hạn tỷ trọng đơn trực tuyến tăng từ 30% lên 55%. Prior drift là thay đổi tỷ lệ kết quả, ví dụ tỷ lệ hồ sơ trễ tăng từ 8% lên 14%. Concept drift xảy ra khi quan hệ giữa đầu vào và kết quả đổi: cùng mức tồn kho trước đây dẫn đến rủi ro thiếu hàng thấp, nhưng hiện tại lại cao vì thời gian cung ứng kéo dài.

Ba loại có cách xử lý khác nhau. Thay đổi đầu vào chưa chắc làm mô hình kém nếu mô hình vẫn dự báo đúng. Tỷ lệ kết quả thay đổi có thể cần hiệu chỉnh xác suất. Concept drift thường đòi hỏi xem lại biến, cấu trúc hoặc huấn luyện lại. Vì nhãn kết quả thường về chậm, hệ thống có thể phát hiện covariate drift sớm rồi chờ thêm bằng chứng sai số.

Chọn đường cơ sở và cửa sổ so sánh

Đường cơ sở có thể là tập huấn luyện, kỳ vận hành ổn định gần nhất hoặc cùng kỳ năm trước. Không nên dùng một mốc duy nhất cho dữ liệu có mùa vụ. Doanh số tháng Tết cần so với các giai đoạn tương đương, không chỉ với tháng ngay trước. Hệ thống nên lưu phiên bản đường cơ sở, thời gian, bộ lọc và lý do chọn để cảnh báo có thể tái hiện.

Cửa sổ hiện tại phải đủ lớn để giảm nhiễu nhưng đủ ngắn để phát hiện sớm. Với hàng nghìn giao dịch mỗi ngày, cửa sổ bảy ngày có thể phù hợp; với chỉ vài chục hồ sơ mỗi tháng, cần gom dài hơn. Có thể dùng hai cửa sổ nhanh và chậm: cửa sổ nhanh phát hiện biến động lớn, cửa sổ chậm xác nhận thay đổi kéo dài.

Ví dụ bằng dữ liệu mẫu

Giả sử mô hình dự báo đơn giao trễ dùng kênh bán, khoảng cách, loại hàng và thời gian xử lý. Trong đường cơ sở 12 tuần, kênh trực tuyến chiếm 32%, khoảng cách trung vị 18 km và tỷ lệ thiếu loại hàng là 0,4%. Ở cửa sổ hai tuần mới, kênh trực tuyến tăng lên 51%, khoảng cách trung vị là 19 km nhưng tỷ lệ thiếu loại hàng lên 6,8% do một thay đổi mã nguồn.

Chỉ số phân bố cảnh báo cả kênh bán và loại hàng. Tuy nhiên, thay đổi kênh là biến động nghiệp vụ có xác nhận, còn thiếu loại hàng là lỗi dữ liệu. Sau khi sửa ánh xạ, tỷ lệ thiếu trở về 0,5%. Sai số mô hình ở kênh trực tuyến vẫn tăng từ 9% lên 15%, cho thấy thay đổi cơ cấu có tác động thật và cần đánh giá lại. Tất cả con số là dữ liệu mẫu, không phản ánh khách hàng cụ thể.

Kết hợp chỉ số thống kê và ngưỡng nghiệp vụ

Với biến số, có thể dùng Population Stability Index, khoảng cách Wasserstein hoặc kiểm định Kolmogorov–Smirnov. Với biến phân loại, có thể so tỷ trọng, Jensen–Shannon divergence hoặc kiểm định chi-bình phương. Không nên dùng giá trị p một mình: mẫu rất lớn khiến chênh lệch nhỏ cũng có ý nghĩa thống kê, còn mẫu nhỏ có thể bỏ sót thay đổi quan trọng.

Ngưỡng cần gắn với tác động. Tỷ trọng một nhóm tăng hai điểm phần trăm có thể không đáng kể, nhưng tỷ lệ thiếu mã định danh tăng từ 0,1% lên 2% có thể làm sai toàn bộ liên kết. Bảng giám sát nên có mức quan sát, điều tra và khẩn cấp, kèm điều kiện duy trì qua số kỳ. Các ngưỡng được hiệu chỉnh bằng lịch sử để kiểm soát số cảnh báo giả.

Kiểm tra drift theo nhóm và theo tổ hợp

Các biến đơn lẻ cũng có thể không đổi nhưng quan hệ giữa chúng đổi. Ví dụ tỷ trọng kênh và vùng đều ổn định, song đơn trực tuyến chuyển tập trung từ nội thành sang ngoại thành. Có thể theo dõi một số cặp quan trọng, embedding hoặc điểm mô hình, nhưng phải giữ khả năng giải thích để đội dữ liệu xác định nguyên nhân.

Quy trình điều tra một cảnh báo drift

Bước đầu kiểm tra pipeline: số bản ghi, thời điểm cập nhật, schema, đơn vị đo, mã danh mục và tỷ lệ thiếu. Bước hai đối chiếu lịch chiến dịch, thay đổi chính sách, sản phẩm hoặc địa bàn. Bước ba xác định nhóm và biến đóng góp lớn nhất. Bước bốn đo tác động lên sai số, hiệu chỉnh xác suất hoặc chỉ số nghiệp vụ khi nhãn đã về. Bước cuối quyết định giữ nguyên, sửa dữ liệu, đổi đường cơ sở, hiệu chỉnh hay huấn luyện lại.

Mọi cảnh báo cần trạng thái, người xử lý, nguyên nhân và bằng chứng đóng. Nếu thay đổi là hợp lệ và trở thành trạng thái mới, đường cơ sở chỉ được cập nhật sau khi đủ dữ liệu ổn định. Cập nhật tự động ngay khi có drift sẽ khiến hệ thống “quên” bất thường trước khi điều tra.

Ngoại lệ và tiêu chí kiểm tra

Ngày lễ, chiến dịch lớn và sự kiện hiếm nên được gắn cờ thay vì xóa. Dữ liệu đến muộn có thể tạo một kỳ giảm rồi tăng bù; hai điểm cần liên kết như sự cố nguồn. Khi danh mục đổi mã, phải ánh xạ phiên bản trước khi so phân bố. Với biến mới chưa có đường cơ sở, hệ thống ghi trạng thái theo dõi ban đầu, không phát cảnh báo chắc chắn.

Một cơ chế đạt yêu cầu khi tái hiện được đường cơ sở; cảnh báo chỉ rõ biến, nhóm và độ lớn; kiểm soát cỡ mẫu; có kiểm tra chất lượng nguồn; phân biệt thay đổi hợp lệ với lỗi; và liên kết được drift với chất lượng dự báo. Bài giải thích chỉ tiêu thay đổi do dữ liệu đến muộn giúp xử lý một nguyên nhân thường gặp trước khi kết luận.

Câu hỏi thường gặp

Có drift thì phải huấn luyện lại ngay không? Không. Chỉ huấn luyện lại khi thay đổi bền vững, dữ liệu đã được xác minh và có bằng chứng hiệu năng hoặc hiệu chỉnh suy giảm.

Nguồn tham khảo