Data Lineage là gì? Cách truy vết một chỉ số marketing về tận nguồn

Data Lineage là gì? Data Lineage (dòng dõi dữ liệu) là bản ghi đường đi của dữ liệu: một con số trên báo cáo được tạo từ những nguồn nào, đi qua những bước lọc, gộp, tính toán nào, và ai chịu trách nhiệm từng chặng. Khi một chỉ số trông lạ, lineage cho phép lần ngược từ dashboard về tận bảng gốc trong vài phút thay vì vài ngày.

Lineage thường bị nhầm với vài khái niệm gần nó. Phân biệt nhanh:

Ba mức chi tiết và SME nên dừng ở đâu

• Mức hệ thống: phần mềm bán hàng → kho dữ liệu → dashboard. Ai cũng vẽ được trong 15 phút, nhưng không đủ để tìm lỗi.
• Mức bảng: bảng đơn hàng và bảng hoàn tiền được nối thành bảng doanh thu thuần, rồi gộp theo kênh. Đủ cho phần lớn câu hỏi.
• Mức cột: cột “doanh thu thuần” = tổng tiền − giảm giá − hoàn tiền, lấy từ những cột nào, lọc trạng thái gì. Cần cho các chỉ số quan trọng nhất.

Doanh nghiệp nhỏ không cần lineage mức cột cho mọi thứ. Quy tắc thực tế: làm mức cột cho 5–10 chỉ số dùng để ra quyết định tiền bạc (doanh thu, chi phí quảng cáo, số đơn, CAC, tỷ lệ chuyển đổi), mức bảng cho phần còn lại.

Lập data lineage qua 6 bước

Bước 1. Bắt đầu từ dashboard, đi ngược về nguồn

Đừng bắt đầu bằng việc liệt kê mọi bảng trong công ty. Chọn dashboard được dùng nhiều nhất — thường là dashboard marketing họp tuần — và với mỗi chỉ số trên đó, hỏi: “Con số này tính từ đâu?”. Đi ngược tới khi gặp hệ thống gốc nơi dữ liệu được tạo ra.

Bước 2. Lập danh mục nguồn

Mỗi nguồn ghi: tên hệ thống, cách lấy dữ liệu (xuất file tay, kết nối tự động, API), tần suất cập nhật, múi giờ, đơn vị tiền. Hai nguồn khác múi giờ là lý do kinh điển khiến số đơn “ngày 1” không khớp nhau.

Bước 3. Ghi lại từng phép biến đổi bằng lời

Mỗi bước giữa nguồn và chỉ số ghi một câu ai cũng đọc được: “loại đơn trạng thái huỷ”, “quy đổi USD sang VND theo tỷ giá ngày chi”, “gộp chiến dịch theo tiền tố tên”, “chỉ tính lead có số điện thoại hợp lệ”. Những quy tắc này thường nằm trong đầu một người hoặc trong công thức Excel không ai mở — đưa chúng ra giấy là nửa giá trị của lineage.

Bước 4. Gắn chủ sở hữu cho từng chặng

Ba vai thường gặp: người sở hữu nguồn (biết khi hệ thống đổi), người sở hữu phép biến đổi (sửa khi quy tắc sai), người sở hữu chỉ số (quyết định định nghĩa đúng là gì). Ở công ty nhỏ, một người có thể giữ cả ba — miễn là có tên, không phải “team marketing”.

Bước 5. Bắt thay đổi schema trước khi nó vào báo cáo

Schema là cấu trúc dữ liệu: tên cột, kiểu dữ liệu, các giá trị cho phép. Nguồn ngoài — sàn thương mại điện tử, nền tảng quảng cáo — đổi schema mà không báo trước: thêm trạng thái đơn, đổi tên cột, đổi định dạng ngày. Đặt vài kiểm tra đơn giản ở bước nạp: số cột có đổi không, có giá trị trạng thái lạ không, tổng hôm nay có lệch bất thường so với trung bình 7 ngày không. Có lineage, khi một kiểm tra báo đỏ bạn biết ngay chỉ số nào bị ảnh hưởng.

Bước 6. Diễn tập truy vết định kỳ

Mỗi quý, chọn ngẫu nhiên một chỉ số và một ngày, nhờ người không trực tiếp làm báo cáo lần ngược theo tài liệu lineage. Nếu họ kẹt ở đâu, tài liệu thiếu ở đó. Bài kiểm tra này cũng phát hiện các bước biến đổi đã đổi mà tài liệu chưa cập nhật.

Mẫu lineage một trang cho một chỉ số

Ví dụ: lần ra 23 triệu chênh lệch

Quay lại tình huống mở đầu, ví dụ giả định. Với bảng trên, người phụ trách lần ngược: chỉ số đúng công thức → biến đổi 2 đúng → biến đổi 1 có vấn đề: sàn vừa thêm trạng thái “hoàn một phần — chờ xác nhận”, không nằm trong danh sách 4 nhóm nên rơi vào nhóm mặc định “hoàn tất”. 23 triệu chênh lệch là tiền hoàn của các đơn đó. Sửa quy tắc mất 10 phút; tìm ra mất 20 phút thay vì hai ngày.

Bài học kèm theo: thêm kiểm tra “giá trị trạng thái lạ” ở bước 5 để lần sau sàn đổi, cảnh báo xuất hiện trước khi con số sai lên dashboard. Nếu dữ liệu đang nằm rải rác nhiều file, cân nhắc gom về một nơi — xem Data Warehouse cho Marketing.

Lineage khi dùng AI trong marketing

AI thêm một chặng mới vào đường đi của dữ liệu. Khi AI viết “sản phẩm X giá 1,2 triệu”, câu hỏi lineage là: con số đó lấy từ tài liệu nào, phiên bản nào, cập nhật khi nào? Khi AI tóm tắt phản hồi khách thành “40% phàn nàn về giao hàng”, câu hỏi là: tính trên tập dữ liệu nào, lọc gì? Đòi AI trích nguồn, và giữ tài liệu nguồn có ngày cập nhật, là lineage ở dạng đơn giản nhất. Các công cụ biến đổi dữ liệu như dbt có thể tự vẽ sơ đồ lineage từ mã; với SME, một bảng tính như mẫu trên là khởi đầu đủ dùng.

Sai lầm thường gặp

• Vẽ sơ đồ mức hệ thống rồi dừng, đẹp nhưng không giúp tìm lỗi.
• Tài liệu một lần: lineage viết lúc dựng dashboard, không ai cập nhật khi quy tắc đổi.
• Không ghi múi giờ, đơn vị tiền — hai nguồn lệch kinh điển nhất.
• Chủ sở hữu là một nhóm thay vì một người có tên.
• Chỉ truy vết khi có sự cố, nên lần nào cũng bắt đầu từ con số không.

Câu hỏi thường gặp