去年冬天,一个做零售电商的数据团队找我喝咖啡。他们订单库一天不到五千万条,埋点日志却已经压到 Hive 里快喘不过气。老板拍板要搞湖仓一体。会上有人喊 Iceberg,有人坚持 Hudi,还有人说 Delta Lake 最省事。吵了两小时,最后也没结论。
我听完只问了一句:你们的元数据 Catalog 现在谁维护?会议室安静了。真的,选型会最怕的不是技术难,是没人愿意接维护的活。

先把湖仓一体从 PPT 里拽出来

湖仓一体不是买一个产品就完事。它更像一套拼装方案:开放文件格式打底,表格式管 ACID 和快照,计算引擎负责读写,Catalog 统管元数据。这四块缺一块,用起来就会别扭。
很多人以为湖仓就是数据湖加数仓。说实话,这个理解在汇报里能过,在夜里跑批时过不了。数据湖擅长存原始数据,数仓擅长治理和查询。湖仓要的是同一份数据既能被 BI 查,也能被算法捞特征,还能被流任务增量写。要求高,妥协也多。
所以选型第一步不是比功能表。是画清楚数据流:哪些表要分钟级更新,哪些表 T+1 就够;谁写谁读;失败重跑成本多大。这些问题不回答,选 Iceberg 也救不了。
技术选型时最容易打起来的三个点
第一,增量读和流式写。Hudi 在这块起步早,入湖更新场景顺手,尤其 CDC 同步。Iceberg 的社区和生态更中性,查询引擎支持广,但早期流式写入没那么顺。Delta Lake 和 Spark 绑得深,Databricks 体系里体验好,离开那个环境要多做功课。
不过话说回来,功能对比只是表面。更麻烦的是小文件。日志类数据高频写入,一天能给你堆出几十万个小文件。查询慢,元数据压力大。谁来做 compaction?定时任务还是写入端自动合并?这个决定比表格式名字更影响夜班睡眠。

第二,Catalog 和权限。Hive Metastore 还能用,但多引擎访问时容易变成瓶颈。REST Catalog 在推,各家兼容性参差。权限更头疼:湖上文件一旦被绕过 SQL 引擎直接读,表级授权就是纸糊的。你得想清楚,是信计算引擎,还是信存储层。
第三,成本。对象存储便宜?那是单价便宜。请求费、流量费、小文件元数据操作费,加起来能让人皱眉。有个团队把原始日志全塞湖里,三个月后账单翻倍,才发现大量 GET 请求来自扫描小文件。
落地时先落组织再落架构

技术选型会结束,才是真正开始。很多湖仓项目死在边界不清:数据平台团队建湖,业务团队写表,算法团队直接改文件。半年后没人知道哪张表能信。
我们后来给那个零售团队做了三件事。别嫌土,管用。
1. 建一张入湖申请表。不是审批,是逼大家写清楚:数据源、更新频率、保留周期、下游消费者、SLA。写不出来,说明还没想好。
2. 固定一个写入通道。不允许绕过平台直接写对象存储。所有写操作走统一服务,自动做小文件合并和快照清理。牺牲一点灵活,换回可观测性。
3. 每周看一次表健康分。文件数、快照数、查询 P95、存储成本,四个指标放一个看板。谁的表红了,谁去处理。别搞大范围通报,容易伤和气。但看板得公开。
还有个细节:别一上来就全量迁移。先选两条链路试点。一条 CDC 入湖,一条日志入湖。跑三个月,把 compaction、权限、血缘、回滚都踩一遍。再推广时,反对声会小很多。
至于 Iceberg、Hudi、Delta Lake 到底选谁?我的边界很窄:如果团队以 Spark 为主、 CDC 场景多、能接受运维投入,Hudi 可以优先看。如果多引擎查询是刚需、希望生态开放,Iceberg 更稳。如果已经在 Databricks 上,Delta Lake 顺手。脱离场景谈优劣,都是耍流氓。
最后说句实在的。湖仓一体架构选型与落地,选的是技术,落的是责任。谁能半夜被叫起来修小文件,谁能在表被误删后十分钟恢复,谁就最有发言权。别让最会写 PPT 的人拍板。