上线那天,会议室里没人说话。
老板问,为什么财务的GMV是三千二百万,运营后台显示三千五百万?差了整整三百万。空气安静得能听见空调声。数据仓库明明昨天才宣布交付完成,监控面板一片绿。
这不是段子。我见过太多次了。
问题不在技术。真的不在。Hive也好,ClickHouse也好,Snowflake也好,换哪个引擎都救不了——你只是把一堆互相矛盾的脏数据,从一个地方搬到了另一个更贵的地方。
口径这东西不写下来就等于没有
什么叫口径?说白了就是,这个数字到底怎么算的。
退款算不算进销售额?含不含税?下单时间还是支付时间?跨月订单算给哪个月?大促期间的赠品按原价还是零元?
财务有一套答案,运营有另一套。两边都觉得自己是对的,因为各自的答案在各自的场景里确实都对。麻烦的是,这些答案从来没被写进同一份文档里。
所以建数据仓库的第一件事,不是选型,不是搭集群。是把各部门拉到一个屋子里,逼着他们吵一次架,然后把吵架结果写成字。
吵不完怎么办?先定一个当前共识版,标注生效日期。以后改了再补一笔。这比假装大家已经统一了口径要诚实得多。

分层不是仪式感是止损手段
ODS、DWD、DWS、ADS,这四个字母看得人头疼。很多团队嫌麻烦,直接把清洗逻辑、聚合逻辑、业务逻辑全塞进最后一层。
然后呢?
然后你改一个活跃用户的定义,要动十几张表,还得挨个测。上线前一晚全组加班。这种事发生两次,人就跑光了。
分层真正的价值,是让变更的影响范围可控。ODS贴源,尽量别动;DWD做清洗和口径统一,脏活在这里干完;DWS按主题轻度聚合;ADS面向具体应用,可以随便折腾。改得越靠后,代价越小。就这么简单一个道理。
不过话说回来,分层也别分太细。我见过八层的。八层!查个数据要先看半小时血缘图,这种架构除了让架构师爽,没有任何用处。
还有人一上来就要做实时数仓。问需求,答不上来,就是觉得实时比较高级。说实话,大部分报表能容忍T+1,业务真正等不起的只有风控、推荐和监控告警那几块。为了三个场景把整套链路改成流式,运维成本翻三倍,不划算。

拉链表和那些没人愿意碰的表
有个东西新手基本都栽过跟头——缓慢变化维。名字很学术,其实说的是一件很朴素的事:用户的会员等级变了,历史订单该按当时的等级算,还是按现在的?
按现在的算,去年的报表明天就变了。老板会疯。
按当时的算,就得把每一天的状态存下来。这就是拉链表干的事,用开始日期和结束日期圈出一个时间段。它不性感,但它是历史数据不撒谎的前提。
麻烦在于维护成本。增量跑批、失效标记、异常重跑……每一条都足够让人半夜爬起来。所以很多团队干脆跳过,用一个当前状态字段糊弄过去。等到某天要做同比的时候,账算不平,再回头补历史,基本等于重做。
能一开始做对,就别省这一步。这不是技术洁癖,是给未来的自己省命。

那到底该怎么下手

几个我踩过坑之后总结的做法,不一定适合所有人,你自己掂量。
先挑一个业务域,别全域铺开。挑那个最痛的,比如订单或者支付。跑通了再复制。
指标定义写成文档,落到表里,让人能查。别放协作软件里等着腐烂。
血缘关系从第一天就采集。手动维护的文档一定会过期,自动采集的不会。
数据质量校验前置。宁可任务失败报警,也别让错数据悄悄进报表。前者是事故,后者是灾难。
还有一条,给数据加上负责人字段。不是团队,是人。出事的时候能直接找到人,效率差十倍。
至于数据湖、湖仓一体这些新词……方向没错,但别为了追新把已有的东西推倒重来。数据仓库这件事,从来不是一次建成的工程,它更像一块需要天天擦的地板。你今天偷的懒,三个月后会以数据对不上的形式,一分不少地还给你。
就这样。