
Tin doanh nghiệp
Đăng ngày
Kiểm tra độ ổn định của mô hình dự báo như thế nào?
Không nên đánh giá mô hình dự báo chỉ bằng một con số sai số trung bình. Mô hình ổn định phải duy trì chất lượng qua nhiều kỳ, nhiều nhóm nghiệp vụ và cả khi điều kiện vận hành thay đổi; đồng thời phải báo được lúc dữ liệu đầu vào hoặc quan hệ đã học không còn giống giai đoạn huấn luyện. Trên BMB Analytics, việc kiểm tra nên kết hợp sai số theo thời gian, độ lệch có hệ thống, mức bao phủ khoảng dự báo, dữ liệu trôi và tác động đến quyết định. Nhờ vậy, người dùng biết khi nào có thể sử dụng kết quả, khi nào cần thận trọng và khi nào phải huấn luyện lại.
Tách ba khái niệm thường bị gộp chung
Độ chính xác trả lời dự báo gần thực tế đến đâu. Độ ổn định trả lời chất lượng có giữ được tương đối đều giữa các kỳ và nhóm hay không. Độ phù hợp nghiệp vụ trả lời sai số đó có làm thay đổi quyết định hay không. Một mô hình doanh thu có sai số phần trăm tuyệt đối trung bình 8% nhưng sai số tháng cao điểm lên 24% không ổn định. Ngược lại, mô hình sai đều 10% có thể dễ hiệu chỉnh hơn, nhưng vẫn không phù hợp nếu ngưỡng đặt hàng chỉ cho phép lệch 5%. Vì vậy biên bản nghiệm thu phải ghi rõ cả ba lớp, không dùng một chỉ số tổng hợp để che khuất các đoạn yếu.
Thiết kế phép kiểm tra theo cửa sổ thời gian
Cách gần với vận hành nhất là kiểm thử cuốn chiếu. Nhóm triển khai chọn một mốc trong quá khứ, chỉ dùng dữ liệu tồn tại trước mốc đó để huấn luyện, dự báo các kỳ tiếp theo rồi dịch mốc sang phía trước. Cách này ngăn mô hình vô tình nhìn thấy tương lai và cho chuỗi sai số giống tình huống thực tế. Kết quả cần được chia theo chân trời dự báo, chẳng hạn một tuần, bốn tuần và mười hai tuần. Mô hình có thể tốt ở tuần kế tiếp nhưng giảm nhanh ở quý sau; nếu gộp tất cả, người dùng sẽ hiểu sai phạm vi sử dụng.
Ngoài sai số tuyệt đối, cần đo độ lệch có dấu. Nếu dự báo liên tục thấp hơn thực tế, kế hoạch nguồn lực sẽ thiếu dù sai số trung bình có vẻ chấp nhận được. Với dự báo có khoảng tin cậy, cần kiểm tra tỷ lệ thực tế nằm trong khoảng. Khoảng 90% nhưng chỉ bao phủ 60% quan sát cho thấy mô hình quá tự tin; bao phủ 99% bằng một khoảng quá rộng lại không giúp ra quyết định.
Ví dụ kiểm tra bằng dữ liệu mẫu
Giả sử doanh nghiệp dự báo nhu cầu tuần cho 20 nhóm hàng trong 26 tuần. Mục tiêu vận hành là sai số tuyệt đối trung vị dưới 12%, độ lệch có dấu trong khoảng âm 3% đến dương 3%, và ít nhất 85% giá trị thực nằm trong khoảng dự báo 90%. Kết quả mẫu cho thấy 16 nhóm đạt cả ba điều kiện. Hai nhóm hàng mùa vụ có sai số lần lượt 18% và 21% vào tuần lễ nhưng dưới 10% ở tuần thường. Hai nhóm mới chỉ có tám tuần lịch sử, khoảng dự báo rộng và không đủ căn cứ kết luận.
Theo dõi dữ liệu trôi và quan hệ trôi
Dữ liệu trôi xảy ra khi phân bố đầu vào thay đổi, ví dụ tỷ trọng đơn trực tuyến tăng từ 25% lên 55% hoặc giá bán chuyển sang một mặt bằng mới. Quan hệ trôi xảy ra khi cùng một đầu vào nhưng kết quả không còn phản ứng như trước, chẳng hạn khuyến mại 10% từng tăng sản lượng 15% nhưng hiện chỉ tăng 4%. Hệ thống nên theo dõi cả hai, vì phân bố ổn định không bảo đảm quan hệ dự báo còn đúng.
Mỗi biến quan trọng cần có đường cơ sở, cửa sổ so sánh và ngưỡng cảnh báo. Tuy nhiên vượt ngưỡng không đồng nghĩa mô hình hỏng. Thay đổi có thể là chiến dịch đã biết, sửa cách ghi nhận hoặc dữ liệu đến muộn. Cảnh báo phải dẫn tới bước phân tích nguyên nhân: kiểm tra nguồn, lịch sự kiện, thay đổi danh mục và sai số thực tế. Chỉ huấn luyện lại khi có bằng chứng chất lượng giảm hoặc trạng thái mới đủ dài để đại diện.
Các ngoại lệ cần xử lý riêng
Với chuỗi có nhiều giá trị bằng không, chỉ số phần trăm dễ phóng đại; nên bổ sung sai số tuyệt đối hoặc sai số có trọng số theo quy mô. Khi một sản phẩm mới chưa có lịch sử, có thể mượn mẫu từ nhóm tương đồng nhưng phải gắn mức tin cậy thấp. Nếu dữ liệu thực tế được điều chỉnh sau chốt kỳ, hệ thống phải lưu phiên bản nhãn để biết mô hình đã được chấm bằng số sơ bộ hay số cuối cùng. Đối với sự kiện cực hiếm, một lần dự báo sai không đủ kết luận không ổn định; cần đánh giá kịch bản và tác động thay vì chỉ thống kê tần suất.
Thay đổi cơ cấu cũng dễ bị nhầm thành mô hình suy giảm. Khi một kênh bán chiếm tỷ trọng lớn hơn, sai số tổng có thể tăng dù sai số trong từng kênh không đổi. Nên phân rã kết quả theo nhóm và đối chiếu với bài phân tích biến động do thay đổi cơ cấu trước khi kết luận.
Quy trình giám sát sau khi đưa vào sử dụng
Mỗi lần dự báo cần lưu phiên bản mô hình, thời điểm chốt dữ liệu, tập biến, giá trị dự báo và khoảng dự báo. Khi thực tế về đủ, hệ thống tính sai số theo nhóm, chân trời và kỳ. Bảng theo dõi nên có ngưỡng xanh, cần quan sát và cần hành động; nhưng quyết định thay mô hình phải dựa trên nhiều kỳ liên tiếp hoặc một sai lệch có tác động lớn. Người phụ trách ghi nguyên nhân, phương án và kết quả sau hiệu chỉnh để tạo lịch sử kiểm toán.
Chu kỳ rà soát có thể là hàng tuần cho vận hành nhanh và hàng tháng cho quyết định mô hình. Tiêu chí đạt gồm: không có độ lệch kéo dài, phần lớn nhóm nằm trong ngưỡng, khoảng dự báo được hiệu chỉnh đúng, dữ liệu đầu vào đủ và cảnh báo có người tiếp nhận. Khi một điều kiện chưa đạt, hệ thống có thể hạ cấp kết quả từ “khuyến nghị” xuống “tham khảo” thay vì im lặng tiếp tục tự động hóa.
Câu hỏi thường gặp
Sai số tăng một kỳ có phải huấn luyện lại ngay không? Không. Trước hết cần kiểm tra dữ liệu, sự kiện đặc biệt và phạm vi ảnh hưởng. Huấn luyện lại quá nhanh có thể khiến mô hình học cả nhiễu ngắn hạn.