
Tin doanh nghiệp
Đăng ngày
Kiểm soát nhiều tệp nhập cùng lúc phải bắt đầu từ một lô có danh tính rõ ràng
Có. BMB DataHub nên coi nhóm tệp được người dùng tải lên trong một lần là một lô nghiệp vụ duy nhất, nhưng vẫn kiểm tra từng tệp độc lập trước khi hợp nhất dữ liệu. Cách này ngăn một tệp lỗi làm mất dấu các tệp tốt, đồng thời tránh tình trạng nhập trùng khi người vận hành tải lại cả thư mục. Mỗi lô cần có mã, thời điểm tiếp nhận, người gửi, quy tắc xử lý, danh sách tệp và kết quả đối soát cuối cùng.
Tình huống nghiệp vụ bằng dữ liệu mẫu
Một phòng kinh doanh gửi 24 tệp doanh số của 24 chi nhánh. Đây là dữ liệu mẫu: mỗi tệp dự kiến có 3.000 dòng, tổng cộng 72.000 dòng. Khi kiểm tra, DataHub phát hiện 20 tệp đúng mẫu, 2 tệp thiếu cột mã sản phẩm, 1 tệp dùng dấu phẩy thay vì dấu chấm cho phần thập phân và 1 tệp thực chất là bản sao của tệp chi nhánh 08. Nếu hệ thống ghép ngay tất cả tệp, lỗi cấu trúc có thể làm lệch cột và bản sao làm doanh thu bị cộng hai lần.
Kết quả mong muốn không phải chỉ là thông báo “thành công” hoặc “thất bại”. Lô phải thể hiện 60.000 dòng đủ điều kiện tạm thời, 6.000 dòng chờ sửa cấu trúc, 3.000 dòng cần chuẩn hóa định dạng và 3.000 dòng bị chặn vì trùng tệp. Sau khi người vận hành thay ba tệp lỗi, hệ thống xử lý bổ sung đúng phần thiếu, không nạp lại 20 tệp đã đạt.
Nhận diện tệp trước khi đọc dữ liệu
Ngay khi tiếp nhận, hệ thống ghi tên tệp gốc, kích thước, mã băm nội dung, loại tệp, số trang tính và thời điểm tải lên. Mã băm giúp nhận ra hai tệp có tên khác nhau nhưng nội dung giống hệt. Tên tệp chỉ là thông tin tham khảo vì người dùng có thể đổi tên bản sao hoặc dùng cùng một tên ở hai thư mục.
DataHub cũng cần xác định khóa nghiệp vụ của tệp, chẳng hạn kỳ báo cáo, chi nhánh và loại dữ liệu. Hai tệp không trùng byte nhưng cùng khai báo chi nhánh 08, tháng 10 và loại “doanh số chính thức” là một xung đột cần người dùng xác nhận. Hệ thống không nên tự chọn tệp mới hơn nếu chưa có quy tắc phiên bản rõ ràng.
Kiểm tra hợp đồng cấu trúc theo từng tệp
Mỗi tệp được so với hợp đồng dữ liệu đã công bố: tên cột, kiểu dữ liệu, trường bắt buộc, miền giá trị, số trang tính và quy ước ngày tháng. Kiểm tra phải diễn ra trước bước ghép. Nếu một tệp có thêm cột ghi chú, quy tắc có thể cho phép bỏ qua; nếu thiếu khóa đơn hàng, tệp phải bị cách ly vì không thể chống trùng ở cấp bản ghi.
Hệ thống nên tạo dấu vân tay cấu trúc gồm tập cột và kiểu suy luận. Nhờ đó, 23 tệp cùng cấu trúc được gom vào một nhóm, còn tệp khác biệt được chỉ rõ. Báo cáo lỗi cần nói “thiếu cột mã_sản_phẩm tại tệp A và B”, thay vì chỉ trả mã lỗi kỹ thuật khó hiểu.
Nạp thử và đối soát trước khi ghi vào vùng dùng chung
Các tệp đạt kiểm tra được đọc vào vùng tạm theo mã lô và mã tệp. Tại đây, DataHub đếm số dòng nguồn, dòng đọc được, dòng bị loại, tổng tiền và số khóa duy nhất. Chỉ khi các phép đối soát đạt ngưỡng, dữ liệu mới được chuyển sang vùng chuẩn hóa hoặc vùng lõi.
Với ví dụ mẫu, tổng tiền của 20 tệp tốt là 18,4 tỷ đồng. Hệ thống phải giữ chỉ tiêu này qua bước ghép, trừ khi quy tắc chuẩn hóa giải thích rõ chênh lệch. Nếu sau ghép tổng còn 18,1 tỷ đồng, lô không được tự động hoàn tất; báo cáo cần chỉ ra 300 triệu đồng thuộc các dòng nào và vì sao bị loại.
Chống nhập trùng ở hai cấp
Cấp tệp dùng mã băm và khóa nghiệp vụ để phát hiện bản sao. Cấp bản ghi dùng khóa như chi nhánh, số đơn, dòng đơn và ngày nghiệp vụ. Hai cấp đều cần thiết: một tệp có thể không trùng hoàn toàn nhưng chứa lại 500 dòng của tệp trước.
Khi người dùng tải lại lô sau khi sửa, hệ thống nên nhận ra tệp nào không đổi, tệp nào được thay và tệp nào mới. Chính sách có thể là bỏ qua tệp không đổi, thay thế dữ liệu của tệp cũ hoặc tạo phiên bản mới. Lựa chọn phải được ghi trong nhật ký lô, không được phụ thuộc vào thao tác ngầm.
Xử lý ngoại lệ có kiểm soát
Tệp rỗng không nhất thiết là lỗi nếu đơn vị thực sự không phát sinh dữ liệu; nhưng nó cần cờ xác nhận “không phát sinh”, không thể chỉ là một bảng trắng. Tệp được bảo vệ bằng mật khẩu phải dừng và yêu cầu xử lý an toàn, không ghi mật khẩu vào nhật ký. Tệp có công thức nên đọc giá trị đã tính và cảnh báo khi thiếu giá trị lưu sẵn.
Nếu mạng gián đoạn giữa lúc tải 24 tệp, giao diện cần cho phép tiếp tục phần còn thiếu dựa trên mã lô. Nếu cùng một người mở hai phiên tải, hệ thống phải tránh trộn tệp giữa các lô. Khi tệp quá lớn, có thể chia đọc theo khối nhưng chỉ công nhận tệp hoàn tất sau khi kiểm tra đủ byte và đủ dòng.
Tiêu chí nghiệm thu lô nhập nhiều tệp
Một lô đạt khi danh sách tệp nguồn đầy đủ; mỗi tệp có mã băm và trạng thái; số dòng trước và sau xử lý đối soát được; tổng kiểm tra nằm trong ngưỡng; không còn xung đột phiên bản chưa giải quyết; thao tác tải lại không tạo dữ liệu trùng. Nhóm kiểm thử nên thử đổi tên tệp trùng, thay một tệp trong lô, tải gián đoạn và đưa vào tệp sai cấu trúc.
Chỉ số vận hành hữu ích gồm tỷ lệ tệp đạt ngay lần đầu, thời gian xử lý mỗi nghìn dòng, số dòng cách ly và số lần tải lại không phát sinh bản ghi mới. Các chỉ số này giúp cải thiện biểu mẫu nguồn, không dùng để tự suy ra chất lượng của đơn vị nếu chưa xem nguyên nhân.
Câu hỏi thường gặp
Có nên từ chối cả lô khi một tệp lỗi không?
Không bắt buộc. Có thể giữ tệp tốt ở vùng tạm và chỉ chặn bước công bố cho tới khi phần thiếu được xử lý, miễn là trạng thái từng tệp rõ ràng.
Mã băm có thay thế khóa nghiệp vụ không?
Không. Mã băm phát hiện nội dung giống hệt; khóa nghiệp vụ phát hiện hai tệp khác byte nhưng cùng đại diện cho một kỳ và đơn vị.
Có thể nhập từng tệp rồi ghép sau không?
Có, nhưng tất cả vẫn phải thuộc cùng mã lô để đối soát tổng thể và truy vết nguồn.
Xem thêm BMB DataHub và bài Cách ly bản ghi lỗi trước datamart.