Chuyển đến nội dung chính

Chụp phiên bản dữ liệu tham chiếu để tái hiện báo cáo lịch sử

Cách lưu thời gian hiệu lực, snapshot và góc nhìn lịch sử để thay đổi danh mục không làm sai báo cáo cũ.

Sơ đồ quản lý thời gian hiệu lực và snapshot dữ liệu tham chiếu trong BMB DataHub

Đăng ngày

Vì sao báo cáo lịch sử đổi khi danh mục hiện tại thay đổi?

Báo cáo lịch sử thường bị đổi vì hệ thống chỉ nối giao dịch cũ với bản danh mục hiện tại. Khi khách hàng chuyển nhóm, đơn vị đổi vùng hoặc sản phẩm được phân loại lại, toàn bộ quá khứ có thể bị trình bày theo trạng thái mới dù quyết định lúc đó dựa trên trạng thái cũ. BMB DataHub cần lưu phiên bản dữ liệu tham chiếu theo thời gian hiệu lực và quy định rõ báo cáo nào xem “đúng tại thời điểm phát sinh”, báo cáo nào chủ động quy đổi theo cơ cấu hiện tại. Hai góc nhìn đều có ích nhưng không được trộn trong cùng một chỉ tiêu mà không ghi nhãn.

Dữ liệu tham chiếu khác giao dịch ở điểm nào?

Giao dịch mô tả sự kiện như đơn hàng, thanh toán hoặc hồ sơ. Dữ liệu tham chiếu cung cấp bối cảnh để phân loại sự kiện: mã đơn vị, nhóm sản phẩm, vùng, loại khách hàng hoặc trạng thái chương trình. Một giao dịch có thể không thay đổi, nhưng kết quả tổng hợp đổi nếu bản tham chiếu được cập nhật. Vì vậy DataHub phải biết mã nào có hiệu lực trong khoảng nào, thay đổi do sửa sai hay do nghiệp vụ thực sự, và phiên bản nào đã được dùng khi tạo báo cáo. Nếu chỉ giữ một dòng hiện tại cho mỗi mã, hệ thống mất khả năng tái hiện quyết định lịch sử. Nếu giữ mọi bản sao nhưng không quản lý hiệu lực, phép nối có thể nhân đôi dữ liệu.

Ví dụ định lượng với dữ liệu mẫu

Giả sử có 100.000 giao dịch và danh mục 200 cửa hàng. Trong quý III, 12 cửa hàng đổi vùng quản lý, chiếm 18 tỷ đồng doanh thu từ đầu năm. Báo cáo as-was cho thấy vùng Bắc 60 tỷ và vùng Trung 52 tỷ; báo cáo quy đổi theo cơ cấu hiện tại lần lượt là 48 tỷ và 64 tỷ. Tổng toàn công ty vẫn 112 tỷ, nhưng cơ cấu thay đổi 12 tỷ. Nếu hệ thống chỉ cập nhật vùng hiện tại, người dùng có thể tưởng báo cáo cũ đã sai hoặc hiệu suất vùng biến động mạnh. Ví dụ này dùng dữ liệu mẫu để minh họa rằng kiểm tra tổng không đủ; cần kiểm tra cả phân bổ theo chiều tham chiếu và phiên bản quy tắc.

Mô hình thời gian hiệu lực

Mỗi bản ghi tham chiếu nên có khóa nghiệp vụ ổn định, giá trị thuộc tính, thời điểm bắt đầu hiệu lực, thời điểm kết thúc và trạng thái hiện hành. Khi có thay đổi thật, DataHub đóng phiên bản cũ và mở phiên bản mới, không ghi đè. Khoảng hiệu lực không được chồng lấn đối với cùng một khóa nếu nghiệp vụ không cho phép đa giá trị. Một trường cập nhật do sửa lỗi có thể cần hiệu lực hồi tố; khi đó phải ghi loại thay đổi, người phê duyệt và phạm vi báo cáo cần tính lại. Thời điểm hệ thống nhận thay đổi cũng cần lưu riêng với thời điểm nghiệp vụ có hiệu lực để phân tích dữ liệu đến muộn và tái dựng lần chạy trước.

Chụp snapshot hay nối theo khoảng thời gian?

Snapshot lưu một bản danh mục tại các mốc định kỳ, dễ giải thích và thuận tiện cho báo cáo đã chốt, nhưng tốn dung lượng và có thể bỏ lỡ thay đổi giữa hai mốc. Nối theo khoảng hiệu lực tiết kiệm hơn và cho độ chính xác cao theo từng giao dịch, nhưng yêu cầu kiểm soát chồng lấn và hiệu năng truy vấn. Trong thực tế có thể kết hợp: lưu lịch sử hiệu lực ở lớp chuẩn hóa, đồng thời chụp snapshot theo kỳ cho báo cáo chính thức. Snapshot phải có mã phiên bản, thời điểm tạo, nguồn và checksum hoặc thống kê đối chiếu. Không nên xuất một tệp danh mục hàng tháng rồi ghi đè cùng tên vì sẽ không biết báo cáo đã dùng bản nào.

Quy trình cập nhật có kiểm soát

Đầu tiên, tải bản thay đổi vào vùng chờ và đối chiếu khóa, thời gian hiệu lực, bản ghi mới, sửa và ngừng hiệu lực. Bước hai kiểm tra khoảng thời gian chồng lấn, mã không tồn tại và quan hệ cha con. Bước ba tính ảnh hưởng dự kiến lên các báo cáo quan trọng bằng dữ liệu mẫu hoặc bản sao. Bước bốn phê duyệt loại thay đổi: tương lai, hồi tố sửa sai hay tái cơ cấu. Sau đó DataHub phát hành phiên bản, cập nhật bảng lịch sử và ghi liên kết tới các lần chạy. Nếu thay đổi hồi tố ảnh hưởng báo cáo đã chốt, hệ thống tạo yêu cầu tính lại riêng thay vì âm thầm thay kết quả. Cuối cùng, báo cáo kiểm soát xác nhận số khóa hiện hành và số khoảng hiệu lực hợp lệ.

Ngoại lệ thường gây nhân đôi hoặc mất bản ghi

Mã đơn vị có thể được tái sử dụng sau nhiều năm, nên khóa kỹ thuật không nên chỉ dựa vào chuỗi mã. Một đối tượng có thể thuộc nhiều nhóm đồng thời; trường hợp này cần bảng quan hệ có trọng số hoặc mục đích, không ép thành một thuộc tính đơn. Thay đổi sáp nhập có thể cần ánh xạ nhiều-một và quy tắc phân bổ lịch sử. Nếu nguồn gửi ngày hiệu lực rỗng, DataHub không nên tự dùng ngày tiếp nhận cho mọi trường hợp. Dữ liệu tham chiếu đến muộn sau giao dịch cần được nối lại và đo số bản ghi trước đó chưa phân loại. Mỗi ngoại lệ phải có hàng đợi xử lý, không được bỏ qua vì tổng giao dịch vẫn khớp.

Kiểm thử định lượng và hồi quy

Bộ kiểm thử nên có thay đổi tương lai, thay đổi hồi tố, hai khoảng chồng lấn, khoảng trống hiệu lực, mã tái sử dụng và quan hệ nhiều nhóm. Với mỗi tình huống, đối chiếu số giao dịch trước và sau phép nối, số bản ghi không tìm thấy tham chiếu, số bản ghi bị nhân đôi và tổng theo từng góc nhìn. Chạy lại báo cáo với cùng snapshot phải cho kết quả giống hệt. Khi phát hành phiên bản mới, chỉ các báo cáo được cấu hình dùng phiên bản đó mới thay đổi. Có thể đặt ngưỡng không chấp nhận phép nối làm tăng số dòng ngoài quan hệ đã biết. Nhật ký phải truy ra một giao dịch đã dùng bản danh mục nào và vì sao.

Nguồn tham khảo