周二早上九点半,群里炸了。
市场部说昨天大促GMV是1.2亿,财务那边跑出来的数是1.18亿。差两百万。老板在群里@了所有人,问了一句:谁对?
没人敢回。
这场景我见过不止一次。它跟技术栈新旧没关系,跟有没有用上湖仓一体也没关系。两百万的差额,最后查出来是市场部把测试订单算进去了,财务那边剔了退款,而BI看板上那张宽表,两个规则一个都没写。
这就是数据仓库存在的全部理由。说白了,它不是为了存数据,是为了让同一个问题只产生一个答案。

先把口径这两个字钉在墙上

很多人一提数据仓库,脑子里先蹦出来的是Hive、Spark、Iceberg、湖仓一体,工具清单能背三页。可真正决定一个数仓好不好用的,往往是个特别土的东西:口径。
口径就是一句话——这个业务名词,到底怎么算。
下单时间按创建还是按支付?跨天支付的订单算哪天的业绩?退款是冲减下单日还是退款日?内部测试账号的user_id前缀要不要过滤?这些问题听着琐碎,但每一个都能让两个部门在会上吵半小时。
我见过一支团队,花了七位数上了一套云原生数仓,性能确实猛,查询从十分钟压到两秒。结果口径文档还躺在某位同学的飞书个人空间里,谁离职谁带走。对吧,工具买得来,共识买不来。
这里得解释两个词,不然后面聊不下去。事实表记的是「发生了什么」——一笔订单、一次点击、一条支付流水,通常又细又长。维度表记的是「谁、在哪、什么时候」——用户、门店、渠道、日期。事实加维度,业务才描述得清楚。至于缓慢变化维,就是同一个用户三月属于A销售、四月划给了B销售,你得留得住历史,不能只存最新状态。
分层不是洁癖 是给未来的自己留一条后路
ODS、DWD、DWS、ADS,这四层名字听着像咒语。其实它解决的问题朴素得很:别让改一次业务逻辑,变成改三十张报表。
ODS贴着源库,原样落地。DWD做清洗和规范化,去重、脱敏、类型统一。DWS按主题轻度聚合,比如「用户日粒度消费汇总」。ADS才是给报表和应用直接吃的。
不分层行不行?行。三个月内都行。
到第六个月,业务说「退款要按退款日算」,你会发现这个规则散在十七个脚本里,还有三个藏在存储过程里,两个在调度平台的SQL节点里,剩下一个在某位同事的本地笔记本上。
我特别喜欢一个说法:分层是为了让变更收敛在一层。规矩是死的,但它省下来的是你周末的时间。
还有个小东西值得单拎出来说,拉链表。它就是给每条记录加两个字段:生效时间、失效时间。用户改地址了,旧记录失效但不删,新记录生效。这样你才能回答「这个订单在下单那一刻,收货地址是什么」。听着麻烦?等审计或者对账找上门,你会感谢当初那个坚持拉链的同事。

别急着买工具 先动手做三件事

我一般不建议团队一上来就选型。选型是三周的事,口径是三年的事。
第一件,弄一份指标字典。Excel就行,别嫌土。每行至少四列:指标名、口径描述、责任人、最后更新日期。谁改口径谁改表,改完在群里说一声。没写进口径的东西,一律不算数。这行字贴出来会得罪人,但能救很多人。
第二件,把分区和生命周期管起来。所有明细表强制带dt分区,谁写全表扫描谁请奶茶。历史数据定保留期,热数据一年,冷数据归档到对象存储。数仓最大的成本不是算力,是没人敢删的表。
第三件,跟上游签个数据契约。埋点结构要改、源库字段要下线,提前三天打招呼。听起来像流程废话,但没有它,你就得每天早上去处理凌晨三点挂掉的调度。
最后说点边界。
数仓不解决数据质量问题。源头脏,你只能在DWD里做有限的补救,补不完的。数仓也不该什么都往里塞——有人把图片、日志、模型特征全扔进来,最后它变成一个谁都不想打开的垃圾桶。
我总把它想成一间阁楼。你往里扔东西的速度,永远快过你整理的速度。它一定会漏雨,区别只是你多久上去看一次。
有人一周上去一次。有人等到楼下天花板塌了,才想起来上面还有间屋子。