Chuyển đến nội dung chính

Đánh giá chất lượng dự báo bằng backtest

Cách mô phỏng nhiều mốc dự báo, so đường cơ sở và kiểm tra sai số theo lát cắt trước khi đưa mô hình vào dùng.

Sơ đồ backtest và nghiệm thu mô hình dự báo trong BMB Analytics

Đăng ngày

Đánh giá chất lượng dự báo bằng backtest

Backtest giả lập nhiều thời điểm dự báo quá khứ rồi so với dữ liệu thực tế. Với BMB Analytics, quy trình này giúp trả lời ba câu hỏi thiết thực: mô hình có tốt hơn phương án đơn giản không, sai số có ổn định qua từng giai đoạn không và chất lượng có đủ cho quyết định tồn kho, nhân sự hay ngân sách hay chưa. Một lần chia dữ liệu thành tập huấn luyện và kiểm tra thường chưa đủ, nhất là với chuỗi có mùa vụ hoặc thay đổi cơ cấu.

Tình huống mẫu và rủi ro của một phép thử duy nhất

Giả sử chuỗi bán lẻ muốn dự báo nhu cầu 14 ngày cho 60 điểm bán. Dữ liệu có 30 tháng, gồm ngày bán, số lượng, giá, khuyến mại và tình trạng hết hàng. Nếu chỉ huấn luyện trên 24 tháng đầu và kiểm tra 6 tháng cuối, kết quả dễ bị chi phối bởi đúng một mùa cao điểm. Mô hình có thể đạt sai số trung bình 9% nhưng thất bại ở tuần cận Tết, thời điểm mà dự báo sai gây chi phí lớn nhất.

Backtest tạo nhiều “lát cắt thời gian”. Ví dụ, nhóm chọn 12 mốc đánh giá, mỗi mốc dùng toàn bộ dữ liệu có thể biết tại thời điểm đó để dự báo 14 ngày tiếp theo. Sau 12 vòng, nhóm có 12 bộ sai số, thay vì một con số duy nhất. Toàn bộ số liệu trong tình huống này là dữ liệu mẫu nhằm minh họa cách kiểm tra, không phải công bố kết quả thực tế của khách hàng.

Chốt đúng câu hỏi dự báo trước khi thử

Trước khi chạy mô hình, cần xác định đối tượng, chân trời và độ chi tiết. Dự báo tổng doanh thu tháng khác với dự báo từng mã hàng theo ngày. Một mô hình tốt ở cấp tổng có thể che bù trừ sai số giữa các cửa hàng. Chân trời kiểm tra phải phản ánh thời gian đặt và nhận hàng.

Cần chốt cả dữ liệu được phép sử dụng tại mỗi mốc. Giá thực tế của ngày tương lai, chương trình khuyến mại chưa phê duyệt hoặc số bán đã điều chỉnh sau kỳ không được rò rỉ vào tập huấn luyện. Đặc biệt, nếu doanh số bằng không do hết hàng, không nên mặc định đó là nhu cầu bằng không. Trạng thái hết hàng phải được đánh dấu để nhóm lựa chọn cách xử lý nhất quán.

Thiết kế backtest theo cửa sổ thời gian

Quy trình phổ biến là cửa sổ mở rộng: vòng sau giữ dữ liệu của vòng trước và bổ sung quan sát mới. Cách này giống vận hành khi mô hình học từ toàn bộ lịch sử. Cửa sổ trượt chỉ giữ một số tháng gần nhất, phù hợp hơn khi dữ liệu cũ không còn đại diện. Hai cách cần được so sánh thay vì chọn theo cảm tính.

Trong ví dụ mẫu, mỗi vòng có ít nhất 18 tháng huấn luyện, sau đó dự báo 14 ngày. Các mốc cách nhau 14 ngày để tránh lặp quá nhiều cùng một giai đoạn. Nhóm bảo đảm có vòng ở mùa thấp điểm, mùa cao điểm, tuần khuyến mại và giai đoạn không khuyến mại. Mỗi vòng lưu mã dữ liệu, phiên bản đặc trưng, tham số và thời gian chạy. Tại BMB Analytics, hồ sơ này nên được gắn với phiên bản mô hình để có thể tái lập kết quả khi cần rà soát.

Chọn thước đo phù hợp với quyết định

MAE diễn giải sai lệch theo đơn vị gốc; WAPE so tổng sai số tuyệt đối với tổng thực tế; MAPE dễ hiểu nhưng không ổn định gần giá trị không; còn RMSE phạt nặng sai số lớn. Không nên chỉ báo một chỉ số. Với tồn kho, có thể theo dõi WAPE toàn hệ thống, MAE theo cửa hàng và độ lệch có hướng. Nếu mô hình B có WAPE 10,5% nhưng thường dự báo thấp ở tuần cao điểm, mô hình A đạt 11% vẫn có thể phù hợp hơn khi thiếu hàng đắt hơn tồn dư.

Luôn so với đường cơ sở

Một mô hình chỉ có giá trị khi tốt hơn cách đơn giản, ổn định và rẻ để vận hành. Đường cơ sở có thể là giá trị cùng ngày tuần trước, trung bình bốn tuần gần nhất hoặc cùng kỳ năm trước. Trong bộ mẫu, mô hình học máy đạt WAPE 10,5%, còn trung bình bốn tuần đạt 12,2%. Mức cải thiện 1,7 điểm phần trăm cần được xem theo từng cửa hàng; nếu chỉ cải thiện ở nhóm lớn nhưng tệ hơn tại 20 cửa hàng nhỏ, có thể cần mô hình phân tầng.

Kiểm tra sai số theo lát cắt và ngoại lệ

Sau số tổng, cần phân tích theo vùng, nhóm hàng, ngày trong tuần và điều kiện khuyến mại. Sai số tăng ở nhóm bán chậm có thể xuất phát từ nhiều giá trị bằng không. Sai số tăng trong khuyến mại có thể do dữ liệu kế hoạch đến muộn. Khi phát hiện một lát cắt kém, nhóm phải kiểm tra nguyên nhân dữ liệu trước khi thay mô hình.

Các giai đoạn đứt chuỗi, đóng cửa hoặc thay đổi danh mục là ngoại lệ cần ghi rõ. Không xóa kỳ khó để làm đẹp chỉ số. Có thể báo kết quả toàn bộ và tập vận hành hợp lệ, kèm quy tắc loại trừ. Nếu dữ liệu đến muộn làm đổi số thực, bài giải thích KPI thay đổi do dữ liệu đến muộn giúp giữ đúng phiên bản đối chiếu.

Tiêu chí nghiệm thu trước khi dùng

Mô hình nên đạt ngưỡng ở phần lớn vòng backtest, không chỉ trung bình. Có thể yêu cầu tốt hơn đường cơ sở ít nhất 5% về WAPE trong 9/12 vòng, độ lệch có hướng nằm trong biên đã thống nhất và không có nhóm trọng yếu vượt hạn mức sai số. Đây là ví dụ cấu hình; đơn vị phải đặt ngưỡng theo chi phí và mức chấp nhận của mình.

Hồ sơ nghiệm thu cần có cách chia thời gian, dữ liệu được biết tại từng mốc, thước đo, đường cơ sở, kết quả theo lát cắt và danh sách ngoại lệ. Sau triển khai, chất lượng thực tế phải tiếp tục được so với backtest. Nếu sai số vượt biên trong ba chu kỳ hoặc phân phối đầu vào thay đổi lớn, mô hình cần được rà soát thay vì tự động huấn luyện lại không phê duyệt.

Câu hỏi thường gặp

Cần bao nhiêu vòng backtest?

Không có số cố định. Cần đủ để bao phủ các chế độ hoạt động quan trọng. Với dữ liệu tuần có mùa vụ, vài vòng liên tiếp trong cùng quý là chưa đại diện; nên có vòng ở mùa cao và thấp điểm.

Có chọn mô hình bằng sai số trung bình thấp nhất không?

Không nên. Hãy xét độ ổn định, sai lệch có hướng, nhóm trọng yếu, thời gian chạy và khả năng giải thích. Chênh lệch rất nhỏ về điểm số có thể không đáng đổi lấy quy trình vận hành phức tạp hơn.