
Tin doanh nghiệp
Đăng ngày
Hiệu chỉnh xác suất dự báo để dùng đúng trong quyết định
Xác suất dự báo cần phản ánh tần suất xảy ra thực tế, không chỉ xếp hạng đúng đối tượng rủi ro. Nếu mô hình gán xác suất 70% cho một nhóm, về dài hạn khoảng 70% trường hợp tương tự nên xảy ra sự kiện. Trên BMB Analytics, hiệu chỉnh xác suất gồm chia nhóm dự báo, so với tỷ lệ thực, đo sai lệch, điều chỉnh bằng dữ liệu độc lập và theo dõi sau triển khai. Kết quả đã hiệu chỉnh giúp đặt ngưỡng can thiệp, tính chi phí kỳ vọng và giao tiếp mức không chắc chắn rõ hơn.
Xếp hạng tốt chưa chắc xác suất đúng
Một mô hình có thể đưa các trường hợp rủi ro cao lên đầu danh sách nhưng quá tự tin. Ví dụ, nhóm được dự báo 80% chỉ xảy ra sự kiện 52%; thứ tự vẫn đúng, song nếu doanh nghiệp dùng 80% để tính nguồn lực thì kế hoạch sẽ sai. Ngược lại, mô hình quá dè dặt có thể gán 35% cho nhóm thực tế xảy ra 60%, khiến nhiều trường hợp đáng can thiệp bị bỏ qua.
Do đó cần tách hai câu hỏi: mô hình có phân biệt được trường hợp cao và thấp hay không, và giá trị xác suất có sát thực tế hay không. Chỉ số xếp hạng như AUC không trả lời câu hỏi thứ hai. Kiểm tra hiệu chỉnh cần biểu đồ tin cậy, sai số Brier hoặc log loss, đồng thời xem theo từng nhóm nghiệp vụ.
Lập bảng tin cậy bằng dữ liệu ngoài mẫu
Dữ liệu dùng để hiệu chỉnh không được trùng tập huấn luyện, nếu không kết quả sẽ lạc quan. Tốt nhất là tách theo thời gian: huấn luyện bằng giai đoạn cũ, hiệu chỉnh bằng giai đoạn tiếp theo và đánh giá cuối cùng bằng giai đoạn mới nhất. Với mỗi khoảng xác suất, chẳng hạn 0–10%, 10–20% và tiếp tục đến 100%, hệ thống tính xác suất trung bình và tỷ lệ sự kiện thực.
Khoảng phải có đủ quan sát. Nếu nhóm 90–100% chỉ có bảy trường hợp, tỷ lệ thực có thể dao động lớn; nên gộp khoảng hoặc trình bày khoảng không chắc chắn. Ngoài biểu đồ toàn bộ, cần kiểm tra theo kênh, khu vực, loại sản phẩm và thời gian nếu những nhóm đó dẫn đến hành động khác nhau.
Ví dụ bằng dữ liệu mẫu
Giả sử mô hình dự báo nguy cơ giao hàng trễ cho 20.000 đơn. Trong nhóm 2.400 đơn có xác suất trung bình 70%, chỉ 1.320 đơn thực sự trễ, tương đương 55%. Nhóm xác suất trung bình 30% có tỷ lệ thực 28%. Mô hình tương đối đúng ở vùng thấp nhưng quá tự tin ở vùng cao. Sau hiệu chỉnh trên một tập dữ liệu riêng, dự báo trung bình của nhóm cao giảm từ 70% xuống 57%.
Doanh nghiệp chỉ can thiệp khi lợi ích kỳ vọng vượt chi phí. Nếu một cuộc gọi phòng ngừa tốn 20.000 đồng, thiệt hại kỳ vọng của đơn trễ là 80.000 đồng và cuộc gọi giảm 40% rủi ro, ngưỡng hòa vốn xấp xỉ 62,5%. Xác suất chưa hiệu chỉnh sẽ khiến nhiều đơn ảo tưởng vượt ngưỡng; xác suất 57% sau hiệu chỉnh cho thấy chưa đủ căn cứ. Các số liệu trên chỉ minh họa phương pháp.
Chọn phương pháp hiệu chỉnh phù hợp
Platt scaling dùng một hàm logistic, phù hợp khi quan hệ giữa điểm mô hình và xác suất thực tương đối trơn. Isotonic regression linh hoạt hơn nhưng dễ quá khớp nếu tập hiệu chỉnh nhỏ. Temperature scaling thường dùng với mô hình phân loại nhiều lớp và điều chỉnh độ tự tin mà không đổi thứ tự. Dù chọn cách nào, tham số phải học trên tập riêng và được đánh giá trên tập chưa dùng.
Không nên mặc định phương pháp phức tạp hơn sẽ tốt hơn. Nhóm triển khai cần so kết quả toàn bộ và từng vùng xác suất quan trọng. Nếu quyết định chỉ tập trung ở ngưỡng 60–75%, sai lệch tại vùng này đáng chú ý hơn cải thiện nhỏ ở vùng rất thấp. Cũng cần xem hiệu chỉnh có làm thứ tự đối tượng thay đổi ngoài mong muốn hay không.
Ngoại lệ và nguy cơ hiệu chỉnh sai
Tỷ lệ sự kiện nền có thể thay đổi theo mùa hoặc chính sách. Bộ hiệu chỉnh học từ giai đoạn tỷ lệ trễ 12% sẽ không còn phù hợp khi đứt gãy chuỗi cung ứng làm tỷ lệ tăng lên 25%. Nếu can thiệp được kích hoạt bởi chính dự báo, kết quả quan sát sau đó đã chịu tác động của mô hình; dùng trực tiếp để hiệu chỉnh có thể đánh giá thấp rủi ro ban đầu. Hệ thống cần lưu trạng thái can thiệp hoặc duy trì một mẫu đối chứng.
Với nhóm nhỏ, không nên tạo bộ hiệu chỉnh riêng chỉ vì thấy sai lệch một kỳ. Có thể dùng mô hình phân cấp, gom nhóm hợp lý hoặc gắn mức tin cậy thấp. Khi nhãn đến muộn hay được điều chỉnh, phải chốt phiên bản kết quả trước khi tính lại.
Quy trình giám sát sau triển khai
Mỗi phiên bản dự báo cần lưu xác suất gốc, xác suất đã hiệu chỉnh, phương pháp, tập dữ liệu và ngày hiệu lực. Khi nhãn thực tế về đủ, hệ thống cập nhật biểu đồ tin cậy và sai số theo cửa sổ thời gian. Cảnh báo được mở khi chênh lệch vượt ngưỡng trong nhiều kỳ hoặc tại vùng quyết định quan trọng, không chỉ vì một nhóm nhỏ dao động.
Tiêu chí nghiệm thu gồm: dữ liệu hiệu chỉnh độc lập; đủ mẫu ở các khoảng chính; sai số hiệu chỉnh giảm trên tập đánh giá; không che mất nhóm rủi ro quan trọng; ngưỡng quyết định được tính bằng xác suất đã hiệu chỉnh; lịch sử phiên bản có thể truy vết. Việc kiểm tra độ ổn định tổng thể có thể đối chiếu với bài kiểm tra độ ổn định mô hình dự báo.
Câu hỏi thường gặp
Bao lâu nên hiệu chỉnh lại? Không có chu kỳ cố định cho mọi bài toán. Nên xem theo tốc độ nhãn về, mức thay đổi tỷ lệ nền và độ nhạy của quyết định.
Hiệu chỉnh có thay thế huấn luyện lại không? Không. Hiệu chỉnh sửa ánh xạ từ điểm sang xác suất; nếu thứ tự dự báo hoặc quan hệ đầu vào đã suy giảm, cần xem xét mô hình gốc.