智汇 IT
城启新篇

数据治理真正难的那部分没人愿意写进立项书

我到现在还记得那个下午。会议室里坐着三个人,对同一个「活跃用户」的定义吵了四十分钟。 一个说,登录过就算。一个说,得有交易行为。还有一个说,得看埋点日志,光登录可能是爬虫。四十分钟,没吵出结论。散会时项目负责人跟我说了句实话:这个口径,他们已经对齐两年了。 这就是数据治理。不是白皮书里那个样子。白皮书里它是个平台、一套标准、一张流程图。落到地上,它是一堆人坐在一起,互相不服气。

口径对不齐 根子不在数据

口径对不齐 根子不在数据
口径对不齐 根子不在数据
先把一个误解拆掉。同一张表里的同一个字段,两个部门算出来的数不一样,这通常不是技术问题。SQL 谁都会写。 问题在于,口径的背后是定义权。谁定义,谁就有解释权。财务算的「收入」是开票口径,市场算的是合同口径,两者都对。你非要在全公司推一个唯一口径,等于让一方放弃自己的解释权。这事没那么玄,就是利益。 我见过做得比较务实的团队,他们的办法是承认多口径存在,然后建一张映射表:这个指标在财务口径下叫什么、在业务口径下叫什么、差异出在哪一步、由谁负责解释。**不追求唯一真相,追求可解释的差异。**这话听着不高级,但它省时间。 反过来,那些一上来就喊着要统一全集团指标体系的,两年后往往还在开会。

元数据是给未来的人写的 也是给自己挖的坑

数据仓库元数据血缘关系图谱可视化
数据仓库元数据血缘关系图谱可视化
元数据管理这件事,上线那天特别热闹。血缘图画出来,一层一层往下铺,演示时全场鼓掌。 半年后再看,图还在,但已经不准了。业务系统改了个表名,没通知数据组;中间层重构了一次,血缘断了两根线;新来的开发根本不知道有这套东西。血缘图变成了历史遗迹,还挺好看。 所以元数据要面对一个取舍:全自动采集还是人工确认。全自动采集省事,但噪音大,几万张表堆进去,真正重要的那几十张淹没在里头。半自动就慢,得有人一张一张确认核心资产。说实话,慢的那条路活得久。 还有个更现实的坑。元数据的维护工作,通常没人考核。既然不考核,那它就是可选项。可选项的结局都一样。

数据质量的告警 边际效用是递减的

有段时间我去看一个团队的数据质量看板。规则配了三千多条,每天弹出来两千多条告警。运维的邮箱直接把这一类邮件归档了,没人打开。 后来他们砍到二十条核心规则。告警量掉到每天个位数,反而有人认真看了,看完还会回一句「已修」。 这事的关键不在规则数量。**质量问题的源头很少在数据平台,而在业务系统的录入端。**字段留空也能提交,手机号随便填也能过,那下游再怎么校验都是补救。真想治,就得在录入那一刻卡住。 但麻烦来了:录入的人,他的 KPI 里没有数据质量这一项。让他多填两个字段,他今天就少干两单活。你损失的是一线效率,换来的是你看得见的数据干净。这笔账要谁来签字? 所以说白了,数据质量治理到最后是流程改造和考核改造,跟买什么平台关系不大。工具能帮你发现问题,但改不了人的动机。
数据质量监控规则告警看板界面
数据质量监控规则告警看板界面

别一上来就建大平台

别一上来就建大平台
别一上来就建大平台
我采访过的项目里,失败的那批有个共同点:立项书写得特别完整。数据标准、数据质量、元数据、主数据、数据安全,五条线全铺开,三年规划,一期预算八位数。 然后呢。第一期做完数据标准,业务方配合度已经耗掉一半。二期还没批。 活得比较好的做法通常是反过来的。挑一个具体得不能再具体的场景切进去,比如对账,比如监管报送,比如某个部门的日报。就打通这一条链路,把这几个字段打准。三个月后,报表数字对上了,业务方自己会说好。下一年预算自然就有了。 **治理的价值必须用业务能感知的方式交付,否则它就是个内部项目。**内部项目在公司里的优先级,你懂的。 还有数据资产目录。我见过太多为了目录而目录的。几万张表登记进去,标签打了一半,描述字段抄的是表名。这种目录查起来比不查还累。真有价值的目录往往很小,可能就几百个条目,但每一条都有人维护、有人用。 数据治理不是一次交付,是每天的活儿。做完就不管的,一年后一定回退。所以别指望验收,指望习惯。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:数据治理真正难的那部分没人愿意写进立项书
文章链接:https://m.itcdj.com/news/955.html