Chuyển đến nội dung chính

Thiết kế nhóm đối chứng cho chương trình thí điểm như thế nào?

Cách chọn đơn vị phân bổ, kiểm tra cân bằng, xử lý nhiễm chéo và đo tác động chương trình thí điểm bằng dữ liệu mẫu.

Sơ đồ xác định đơn vị phân bổ kiểm tra cân bằng theo dõi ngoại lệ và đo tác động trên BMB Analytics

Đăng ngày

Thiết kế nhóm đối chứng cho chương trình thí điểm như thế nào?

Nhóm đối chứng phải đại diện cho điều có thể xảy ra nếu chương trình thí điểm không được triển khai. Vì vậy, không nên chọn đơn vị “dễ so sánh” sau khi đã thấy kết quả, mà phải chốt trước đối tượng, cách phân bổ, chỉ số nền và quy tắc xử lý ngoại lệ. Trên BMB Analytics, hai nhóm cần được theo dõi cùng một định nghĩa dữ liệu, cùng cửa sổ thời gian và có nhật ký mọi thay đổi. Thiết kế tốt giúp tách tác động của chương trình khỏi mùa vụ, xu hướng chung hoặc khác biệt vốn có giữa các đơn vị.

Bắt đầu bằng giả thuyết và đơn vị phân bổ

Trước hết cần viết câu hỏi đo lường đủ cụ thể: can thiệp nào, áp dụng cho ai, trong bao lâu và kỳ vọng thay đổi chỉ số nào. Sau đó chọn đơn vị phân bổ. Nếu chương trình là tin nhắn nhắc lịch, đơn vị có thể là từng người dùng. Nếu cán bộ xử lý đồng thời hồ sơ của cả hai nhóm và có nguy cơ áp dụng quy trình mới cho tất cả, nên phân bổ theo tổ hoặc điểm phục vụ. Nếu truyền thông lan rộng trong cùng địa bàn, phân bổ theo địa bàn có thể giảm ảnh hưởng chéo.

Đơn vị phân bổ quyết định cách tính cỡ mẫu và sai số. Hai nghìn hồ sơ tại bốn điểm phục vụ không tương đương hai nghìn quan sát độc lập, vì hồ sơ trong cùng điểm thường chịu chung nhân sự và điều kiện vận hành. Báo cáo cần lưu cả mã quan sát và mã cụm để phân tích đúng cấp.

Ưu tiên ngẫu nhiên nhưng phải kiểm tra cân bằng

Phân bổ ngẫu nhiên giúp cân bằng cả yếu tố đã biết và chưa biết khi mẫu đủ lớn. Quy trình cần tạo mã ngẫu nhiên một lần, lưu hạt giống hoặc bảng phân bổ và khóa kết quả trước khi chương trình bắt đầu. Không được chuyển đơn vị giữa hai nhóm vì thấy nhóm nào đang hoạt động tốt hơn. Với mẫu nhỏ, có thể phân tầng theo quy mô, mức nền hoặc khu vực rồi ngẫu nhiên trong từng tầng để tránh một nhóm vô tình chứa toàn đơn vị lớn.

Sau phân bổ, phải kiểm tra cân bằng trên các biến nền quan trọng: giá trị chỉ số trước thí điểm, quy mô, kênh, cơ cấu đối tượng và tỷ lệ thiếu dữ liệu. Kiểm tra này nhằm phát hiện lỗi triển khai, không phải thử nhiều lần đến khi có một cách chia “đẹp”. Nếu có chênh lệch còn lại, phân tích có thể hiệu chỉnh theo biến nền đã chốt trước.

Ví dụ bằng dữ liệu mẫu

Giả sử một đơn vị thử quy trình nhắc hạn tại 24 điểm phục vụ. Mười hai điểm được phân bổ vào nhóm can thiệp, mười hai điểm giữ quy trình cũ. Trong tám tuần nền, tỷ lệ hoàn thành đúng hạn trung bình lần lượt là 71,8% và 72,4%; số hồ sơ mỗi điểm dao động từ 320 đến 610. Nhóm triển khai phân tầng theo quy mô trước khi ngẫu nhiên để mỗi nhóm đều có điểm lớn, vừa và nhỏ.

Trong sáu tuần thử nghiệm, tỷ lệ đúng hạn đạt 80,6% ở nhóm can thiệp và 75,1% ở nhóm đối chứng. So trước–sau, nhóm can thiệp tăng 8,8 điểm phần trăm; nhóm đối chứng tăng 2,7 điểm. Ước tính chênh lệch trong chênh lệch là 6,1 điểm. Tuy nhiên, hai điểm can thiệp bị gián đoạn gửi tin ba ngày nên báo cáo phải trình bày cả phân tích theo phân bổ ban đầu và phân tích bổ sung theo mức thực nhận. Toàn bộ số liệu là dữ liệu mẫu, không phải kết quả khách hàng.

Khi không thể phân bổ ngẫu nhiên

Có thể chọn nhóm so sánh bằng ghép cặp dựa trên mức nền, xu hướng, quy mô và điều kiện vận hành. Điều quan trọng là dùng dữ liệu có trước can thiệp và không ghép theo kết quả tương lai. Với phương pháp chênh lệch trong chênh lệch, cần kiểm tra xu hướng trước đó có tương đối song song. Nếu một nhóm đã tăng nhanh hơn từ trước, chênh lệch sau thí điểm không thể tự động quy cho chương trình.

Một phương án khác là triển khai theo từng đợt: các đơn vị chưa đến lượt đóng vai trò đối chứng tạm thời. Cách này phù hợp khi mọi đơn vị cuối cùng đều cần nhận chương trình, nhưng thời điểm triển khai phải được xác định độc lập với kết quả. Nếu ưu tiên đơn vị yếu nhất trước, cần mô hình hóa rõ quy tắc lựa chọn và giới hạn suy luận.

Xử lý nhiễm chéo, bỏ cuộc và thay đổi đồng thời

Nhiễm chéo xảy ra khi nhóm đối chứng tiếp cận một phần can thiệp. Hệ thống nên ghi nhận mức thực nhận, nhưng phân tích chính vẫn bám theo nhóm phân bổ để tránh thiên lệch tự lựa chọn. Đối tượng bỏ cuộc không được âm thầm xóa; cần nêu tỷ lệ, lý do và khác biệt giữa hai nhóm. Nếu thiếu kết quả tập trung ở nhóm can thiệp, tác động quan sát có thể bị phóng đại.

Những thay đổi như bổ sung nhân sự, điều chỉnh chính sách hoặc sự cố hệ thống phải được ghi theo thời gian và phạm vi. Nếu chỉ một nhóm chịu thay đổi, cần phân tích độ nhạy hoặc kéo dài thí điểm. Các kỳ nghỉ và mùa cao điểm nên có ở cả hai nhóm hoặc được tách thành lớp phân tích riêng.

Tiêu chí kiểm tra trước khi chốt thiết kế

Thiết kế đạt yêu cầu khi giả thuyết và chỉ số chính đã khóa; đơn vị phân bổ phù hợp với nguy cơ lan truyền; dữ liệu nền đủ dài; hai nhóm cân bằng ở biến chính; cách xử lý thiếu dữ liệu, nhiễm chéo và ngoại lệ được viết trước; cỡ mẫu phù hợp với tác động tối thiểu cần phát hiện. Mỗi bản ghi phải truy vết được nhóm, thời điểm phân bổ, trạng thái thực nhận và nguồn kết quả.

Sau thí điểm, báo cáo cần trình bày độ lớn tác động, khoảng không chắc chắn, chỉ số bảo vệ và giới hạn. Có thể tham khảo bài đo lường tác động chương trình thí điểm để nối thiết kế nhóm với quyết định mở rộng.

Câu hỏi thường gặp

Nhóm đối chứng có bắt buộc bằng kích thước nhóm can thiệp không? Không, nhưng tỷ lệ quá lệch có thể làm giảm hiệu quả thống kê. Lựa chọn cần dựa trên nguồn lực, cỡ mẫu và chi phí can thiệp.

Có thể đổi đơn vị sang nhóm khác giữa kỳ không? Không nên. Nếu buộc phải đổi vì vận hành, phải giữ lịch sử phân bổ ban đầu và báo cáo thay đổi như một ngoại lệ.

Nguồn tham khảo