智汇 IT
城启新篇

数据治理中的数据血缘追踪 别把溯源做成纸面工程

上周去南京软件大道蹲点,碰到个做银行数仓的老哥,蹲在消防通道抽烟。

说他们刚花300万上的血缘系统,现在成了摆设。

当时我还不信。直到他掏出手机给我看上周的故障复盘记录——财务发现监管报送的报表差了两百万,顺着系统里的血缘链路找了三个小时,从核心库到数仓分层到报表层,每一段都标得清清楚楚,就是找不到问题出在哪。最后翻遍了服务器的进程日志,才发现是两年前一个离职开发写的临时清洗脚本,挂在crontab里每个月自动跑,从来没进过调度系统,自然也没被血缘工具扫到。

溯源的第一坑 不是看不到链路是不敢信链路

很多人对数据治理中的数据血缘追踪的认知,还停留在“把表和表之间的连线画出来”的阶段。买个成熟的元数据工具,对接上调度平台、计算引擎,扫一遍所有的库表,自动生成一张密密麻麻的节点图,就算交差了。

但工具能扫到的,永远只是被登记在册的标准化作业。

离线数仓调度链路遗漏临时脚本示意图
离线数仓调度链路遗漏临时脚本示意图

你敢信吗?之前碰到个做零售的团队,监管检查要溯源一个客户手机号字段的全流向,顺着系统找了半天,最后发现那个字段是被分析岗的同事用Navicat直接导出到本地Excel,再通过企业微信传给了外部的供应商——整个操作过程没有任何系统日志,血缘图上这个字段从核心库出来之后就直接断了。

说白了,血缘的核心可信度来自于对非标准化操作的覆盖,而不是你在图上画了多少个节点。很多团队花了大价钱做出来的血缘图,本质上是把“已经被管理的那部分数据”的流向画了出来,对于真正容易出问题的灰色地带——临时脚本、手动导数、跨库直连——半点儿记录都没有。这种图看着好看,真要溯源的时候,根本不敢信。

别把血缘做成静态地图 要跟着数据跑

还有个更普遍的误区。很多团队做血缘,就是系统上线的时候做一次全量扫描,把生成的图存在数据库里,之后再也不更新。

这就跟你拿着三年前的地图去现在的城市开车一样。

数据血缘动态版本快照对比示意图
数据血缘动态版本快照对比示意图

数据是活的。上个月有个做会员运营的朋友跟我吐槽,他们的“高价值用户”标签表,原来的计算逻辑是取用户近半年的累计消费额,上个月产品调整了规则,换成了近90天的消费频次。但是血缘图上还是老样子,标注的数据源字段根本没更新。结果业务部门拿着这个标签去做定向发券,把优惠券全砸给了本来就已经在持续消费的老用户,算下来亏了小几十万。

这事没那么玄。静态的血缘图永远追不上数据流动的速度。你要做的不是画一张一劳永逸的静态地图,而是要跟着数据的变化,实时更新链路的快照——哪个字段改了计算逻辑,哪个表换了数据源,哪个下游的报表不再用这个表了,这些变化都要同步到血缘系统里。

当然,这是有成本的。你要抓所有作业的执行日志,要存全量的版本变更记录,要给每个链路节点打时间戳。很多团队觉得这笔账不划算,不如把静态图做的复杂一点,给领导汇报的时候PPT一放,显得专业。但代价是什么?就是真出事的时候,这张图根本用不上。

血缘的最终价值 从来不是用来给领导看的

我见过太多团队,从一开始做数据治理中的数据血缘追踪,出发点就错了。觉得这是合规要求,是过等保、过监管检查的硬性任务,所以怎么好看怎么来。节点越多越好,连线越密越好,最好能生成一张能铺满整个会议室大屏的大图,显得整个治理工作做的特别扎实。

但真到一线用的时候,没人愿意点开那个复杂的图。

做数据开发的人,改一个字段之前最关心的问题是什么?是“我改了这个东西,会炸多少下游”。如果你的血缘系统要他点十层菜单,等三秒钟加载,才能看到影响范围,他宁愿自己写脚本去grep全量代码,挨个问老同事“这个表还有谁在用”,也不会碰你的系统。

之前碰到个做的不错的团队,他们把血缘查询的入口直接嵌到了开发用的IDE侧边栏里。只要开发写代码的时候用到某个表,侧边栏自动弹出这个表的上下游链路,还会标红哪些是最近三个月有更新的高风险依赖。就这么个小改动,用了三个月之后,开发主动把自己写的临时脚本登记到系统里的比例,从10%涨到了70%。为啥?因为他自己用着方便啊,不用每次改代码的时候到处问人。

真正好用的血缘系统一定是一线开发愿意主动用的。你不用一开始就追求100%的全链路覆盖,先把那些涉及资金、涉及用户隐私、一旦出问题会影响核心业务的几百张表的链路摸准,把非标准化的操作补进去,比你覆盖了几万张没人用的临时表、但链路全是错的,有用得多。

之前那个在消防通道抽烟的老哥,后来改了思路。不再追求全链路覆盖,先把所有涉及监管报送的表的链路,从源到最终的报送文件,一段一段人工核对,把漏了的临时脚本、手动操作的环节都补进去。上个月他们过监管检查,比之前提前两天完成了全链路溯源,领导终于不再说他们的血缘系统是摆设。

别把血缘搞成博物馆里的古地图。它得是你开车的时候实时跳的导航,哪里封路了,哪里有测速,提前告诉你,才有用。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:数据治理中的数据血缘追踪 别把溯源做成纸面工程
文章链接:https://m.itcdj.com/it/300.html