Chuyển đến nội dung chính

Kiểm tra phân vùng dữ liệu sau khi nạp vào DataHub

Quy trình hậu kiểm giúp xác nhận phân vùng đủ dữ liệu, đúng ngày nghiệp vụ, không làm đổi vùng ngoài phạm vi và an toàn khi chạy lại.

Sơ đồ hậu kiểm phân vùng từ hợp đồng phiên nạp đến phát hành dữ liệu trong BMB DataHub

Đăng ngày

Kiểm tra phân vùng sau khi nạp phải chứng minh dữ liệu đủ, đúng chỗ và đọc được

Có. Một phiên nạp chỉ nên được coi là hoàn tất khi các phân vùng đích đã được kiểm tra về phạm vi ngày, số lượng, khóa nghiệp vụ và khả năng truy vấn. Trạng thái “job thành công” chỉ nói rằng câu lệnh không báo lỗi; nó không loại trừ việc dữ liệu bị ghi nhầm ngày, thiếu một phân vùng, tạo phân vùng rỗng hoặc tồn tại đồng thời bản cũ và bản mới. Với BMB DataHub, bước hậu kiểm này cần trở thành điều kiện phát hành dữ liệu cho datamart và báo cáo.

Vì sao lỗi phân vùng khó nhận biết

Phân vùng thường dựa trên ngày nghiệp vụ, ngày phát sinh hoặc ngày tiếp nhận. Ba khái niệm này không tương đương. Giao dịch phát sinh lúc 23:55 ngày 30 nhưng được nhận lúc 00:08 ngày 31 có thể thuộc ngày 30 theo báo cáo doanh thu, trong khi tệp vật lý được xử lý ngày 31. Nếu quy tắc nạp lấy ngày hệ thống thay cho ngày nghiệp vụ, tổng số dòng vẫn đúng nhưng báo cáo hai ngày cùng sai.

Lỗi cũng xuất hiện khi chạy bù. Nếu tác vụ dự kiến ghi ngày 28 nhưng bộ lọc lấy đến ngày 30, chế độ thêm có thể nhân đôi dữ liệu; ghi đè quá rộng có thể xóa dữ liệu hợp lệ. Vì vậy phải kiểm tra cả phân vùng dự kiến và vùng lân cận đáng lẽ không đổi.

Tình huống mẫu và các phép đối chiếu

Giả sử một chuỗi bán lẻ mẫu nạp dữ liệu cho ngày nghiệp vụ 15/11. Nguồn có 1.248.600 giao dịch, tổng tiền 86,4 tỷ đồng và 612 cửa hàng có phát sinh. Sau nạp, phân vùng business_date=2026-11-15 có 1.246.900 dòng, còn phân vùng ngày 16 tăng thêm 1.700 dòng. Tổng hai phân vùng vẫn bằng nguồn nên phép kiểm tra tổng số dòng toàn bảng sẽ cho kết quả đạt.

Đối chiếu theo ngày phát hiện 1.700 giao dịch sau 23:00 bị gắn ngày tiếp nhận. Kiểm tra khóa cho thấy không có trùng lặp; kiểm tra cửa hàng cho thấy 11 cửa hàng có số dòng ngày 15 giảm bất thường và ngày 16 tăng tương ứng. Đây là dữ liệu mẫu minh họa, không phải số liệu hay kết quả của khách hàng. Điểm quan trọng là một chỉ số tổng không đủ xác nhận phân vùng đúng.

Quy trình hậu kiểm theo từng lớp

Trước khi nạp, DataHub nên tạo một “hợp đồng phiên chạy” gồm mã phiên, cửa sổ nguồn, cột phân vùng đích, danh sách phân vùng được phép thay đổi và chế độ ghi. Hợp đồng này giúp bước kiểm tra biết điều gì được kỳ vọng thay vì suy luận sau khi tác vụ đã chạy. Nếu phiên xử lý ngày 15 nhưng cho phép nhận bản ghi đến muộn của ba ngày trước, danh sách phải nêu rõ ngày 12 đến 15.

Sau khi ghi, kiểm tra sự tồn tại và khả năng đọc. Mỗi phân vùng dự kiến phải có metadata, tệp hợp lệ và truy vấn được. Phân vùng rỗng chỉ được chấp nhận khi nguồn xác nhận không phát sinh. Cần tính số dòng, số khóa khác nhau và biên thời gian nghiệp vụ.

Bước thứ hai đối chiếu phạm vi. Biên ngày phải phù hợp khóa phân vùng, trừ ngoại lệ đã thiết kế. Lấy mẫu theo giờ hoặc đơn vị để phát hiện dữ liệu dồn sai chỗ. Bảng lớn có thể dùng thống kê trong manifest, nhưng vẫn nên truy vấn trực tiếp một mẫu ở đích.

Bước thứ ba đối chiếu nguồn, vùng tiếp nhận và đích bằng số dòng, khóa duy nhất, tổng tiền, tỷ lệ rỗng và số đơn vị. Với CDC, phải tách bản ghi mới, sửa và xóa; chênh lệch số dòng đơn thuần không phản ánh đúng phiên nạp.

Bước cuối bảo vệ vùng ngoài phạm vi bằng dấu kiểm soát trước và sau. Nếu phiên chỉ được sửa ngày 15 mà dấu ngày 14 thay đổi, DataHub phải cách ly dữ liệu thay vì phát hành.

Chạy lại, dữ liệu đến muộn và phân vùng rỗng

Chạy lại cùng đầu vào phải cho kết quả tương đương. Với ghi đè, tập khóa và tổng kiểm soát không đổi. Với upsert, không được phát sinh bản sao và phiên bản mới nhất phải thắng theo quy tắc rõ ràng.

Bản ghi đến muộn có thể làm phân vùng quá khứ thay đổi hợp lệ. Ngoại lệ này phải xuất hiện trong hợp đồng phiên chạy, kèm giới hạn cửa sổ và số lượng dự kiến. Nếu một bản ghi cũ hơn cửa sổ cho phép xuất hiện, hệ thống nên chuyển nó sang hàng chờ điều tra thay vì âm thầm mở rộng phạm vi ghi.

Phân vùng rỗng không luôn là lỗi, nhưng cần bằng chứng từ nguồn hoặc lịch nghiệp vụ. Nếu hôm trước có 1,2 triệu dòng mà hôm nay bằng không trong khi 600 cửa hàng hoạt động, phải cảnh báo vì nguồn có thể chưa gửi dữ liệu.

Tiêu chí nghiệm thu và vận hành

Một phiên đạt khi mọi phân vùng dự kiến tồn tại và đọc được; ngày nghiệp vụ nằm trong phạm vi cho phép; số khóa duy nhất, tổng kiểm soát và số đơn vị khớp ngưỡng; không có phân vùng ngoài phạm vi bị thay đổi; và báo cáo chi tiết lưu được mã phiên. Ngưỡng cần theo đặc tính dữ liệu: bảng tài chính có thể yêu cầu khớp tuyệt đối, còn luồng sự kiện có thể chấp nhận chênh lệch tạm thời nhưng phải bù đủ sau cửa sổ trễ.

Bộ thử gồm phiên bình thường, ngày rỗng, bản ghi qua nửa đêm, chạy bù, chạy lại, bản ghi đến muộn và lỗi ghi một phần. Dù vài tệp đã hiện diện, phân vùng lỗi chưa được công bố. Chỉ khi toàn bộ kiểm tra đạt, DataHub mới cập nhật nhãn “phiên hiện hành”.

Câu hỏi thường gặp

Kiểm tra số dòng khớp có đủ không?

Không. Cùng số dòng vẫn có thể ghi sai ngày, sai đơn vị hoặc thay một tập khóa bằng tập khác. Cần kết hợp khóa duy nhất, phạm vi thời gian, tổng kiểm soát và số nhóm nghiệp vụ.

Khi hậu kiểm thất bại có nên xóa phân vùng ngay?

Không nên xóa tự động trước khi giữ bằng chứng. Hãy cách ly phiên mới, giữ phiên tốt gần nhất cho người dùng, lưu manifest và nhật ký để điều tra, rồi chạy lại bằng thao tác có kiểm soát.

Xem thêm BMB DataHub, bài Chạy lại lô ETL không nhân đôi và Đối soát tổng tiền khi nạp dữ liệu.