凌晨两点。手机在床头柜上震得像得了帕金森。老板在群里丢了一张截图——昨日GMV看板挂了,数据停在前天晚上十一点。
我揉了揉眼睛,打开电脑。VPN连上,发现调度系统里一片红。ODS层有个表没跑完,下游DWD、DWS全卡住。更离谱的是,这个表昨天白天有人手动改过字段类型,没通知任何人。
这就是数据仓库。平时没人夸,出事全找你。

分层不是银弹 但没分层会死

很多团队一上来就问我:数据仓库到底分几层?ODS、DWD、DWS、ADS,还是ODS、CDM、ADS?说实话,这个问题本身就有问题。
分层是为了解决职责边界和复用。ODS贴源,尽量别动;DWD做清洗和标准化;DWS按主题聚合;ADS直接给报表。你可以少一层,但不能没有边界。我见过最离谱的,是DWD里直接写业务逻辑,然后ADS又写一遍。同一份GMV,三个地方算出来不一样。问就是“口径不同”。
但分层也有代价。每多一层,就多一次落表,多一次调度依赖,多一份存储。小公司一天几十万条数据,非得搞五层,纯属给自己找活。我的边界是:如果团队少于五个数据开发,业务表少于两百张,ODS到ADS三层就够了。别抄大厂作业,人家一天几十亿条,你一天几十万条,能一样吗?
再说调度。依赖管理是数据仓库的命根子。你得知道谁跑完谁才能跑。Airflow、DolphinScheduler、XXL-JOB,工具不重要,重要的是别让一个手工改表把整条链路搞崩。我们后来加了两个规矩:改表必须走工单,调度任务必须配 SLA 告警。简单,但管用。
维度建模还是宽表 这是个问题
另一个常吵的话题:用维度建模还是直接宽表?
Kimball那套星型模型,维度表和事实表,理论上很优雅。但现实里,业务方要的是“打开就能看”。你让他先关联五张表再查,他直接去找Excel了。
所以很多团队走向另一个极端:一张大宽表,几百个字段,什么都有。查询快,开发省事。然后呢?更新慢,口径乱,加个维度要重跑历史。我见过一张宽表,字段从A到Z排到AA到AZ,最后开发自己都找不到某个字段在哪。
我的建议:核心指标用维度建模,保证口径统一和可追溯;探索性分析用宽表,允许冗余,但必须定义清楚刷新频率和责任人。别一棍子打死。

还有缓慢变化维。拉链表,听起来很高级。但如果你不是每天都要查历史状态,别上来就拉链。全量快照加日期分区,简单粗暴,够用。真的,我见过太多团队为了拉链而拉链,最后自己都维护不明白。
半夜报警之后 我们改了五件事

回到那个凌晨。问题解决之后,我们复盘,定了五条规矩。不是什么最佳实践,就是活生生被逼出来的。
第一,数据质量监控前置。以前是报表出问题才查,现在ODS层入库就校验:主键唯一、字段不为空、枚举值合法。有问题直接阻断,不往下一层跑。宁可今天没数,也别给老板看错数。
第二,所有表必须有负责人。不是团队,是人。一个表一个人。改字段、改逻辑,先找这个人。找不到人?那这表就别建。
第三,调度依赖自动化。别再手动配了。用数据血缘自动解析,或者至少用脚本生成。我们之前手动配依赖,漏了一个,结果DWS跑在DWD前面,数据全是空。笑死。
第四,成本要算账。存储不贵,计算贵。一个全表扫描的SQL,可能烧掉几百块。我们加了查询扫描量限制,超了就报警。不是抠,是让开发有感觉。
第五,文档别写废话。表说明、字段说明、口径说明。不用长篇大论,一句话能说清就行。比如“GMV:已支付订单金额,不含退款”。完事。
说实话,数据仓库这玩意,技术只是一半。另一半是协作习惯。你工具再牛,没人遵守规矩,照样半夜报警。
最后说句实在的。不是所有公司都需要数据仓库。如果你就一个业务库,几张报表,直接BI连MySQL就行,别折腾。数据仓库是给那些数据源多、口径乱、要复用的团队准备的。别为了简历好看硬上。
天亮了。我关掉电脑,老板在群里发了个红包。我领了,八块八。值吗?不知道。但至少今天不用再改那张表了。