Chất lượng data pipeline và migration

Job chạy thành công chỉ chứng minh quá trình thực thi đã hoàn tất, không chứng minh dữ liệu nghiệp vụ đúng. Vì vậy chất lượng dữ liệu phải kết hợp kiểm tra pipeline, business reconciliation, quản lý exception, bằng chứng restart và kiểm tra đầu cuối trên dữ liệu kết quả.

Phạm vi pipeline

flowchart LR
    A[Nguồn giao dịch] --> B[Event hoặc extract]
    B --> C[Staging]
    C --> D[Transformation]
    D --> E[Data mart]
    E --> F[Dashboard hoặc consumer]
    A -. count field total .-> G[Bằng chứng reconciliation]
    F -. so sánh kết quả .-> G

Cần kiểm tra schema compatibility, completeness, freshness, source-to-target mapping, transformation rule, null/default/duplicate/reject, incremental watermark, retry và idempotency, key integrity, row-level access, tổng báo cáo và batch window.

Phương trình đối soát

Input = xử lý thành công + bị từ chối có lý do + chủ động loại trừ

Chứng minh phương trình bằng count theo tenant/ngày/status/batch, financial control total, so sánh field critical, hash cho partition lớn không đổi và exception ledger có record ID, lý do, owner và cách xử lý.

Vòng đời migration

flowchart LR
    A[Discovery] --> B[Source profiling]
    B --> C[Duyệt mapping]
    C --> D[Dry run lặp lại]
    D --> E[Test failure và restart]
    E --> F[Dress rehearsal]
    F --> G[Cutover và final delta]
    G --> H[Stabilization]
    H --> I[Business và technical reconciliation]

Mỗi source record phải kết thúc ở đúng một trạng thái đã biết: migration thành công, reject có lý do hoặc chủ động loại trừ có phê duyệt. Sampling chỉ bổ sung bằng chứng, không thay thế full-population reconciliation khi cần chứng minh mọi record đã được tính đến.

Checklist cutover thực tế

• Chốt source snapshot hoặc cutoff timestamp có thẩm quyền.
• Gắn migration ID truy vết được cho từng batch và record.
• Kiểm tra count, key và field critical, relationship, attachment và control total.
• Chuẩn hóa transformation đã được duyệt trước khi so sánh hash.
• Test interruption, checkpoint, restart, rerun và idempotency.
• Kiểm tra final CDC/delta sau bulk load.
• Chạy hành trình nghiệp vụ critical với dữ liệu đã migration.
• Diễn tập rollback và đo toàn bộ cutover window.

Quay lại trang chính