从数据孤岛到3000节点15PB存储的 Doris + Iceberg 湖仓一体实践

❝"我们公司的数据就像散落在各个房间的玩具，想要找到一个完整的乐高城堡，得跑遍整栋楼。"这话听起来很形象，数据孤岛的痛苦，每个做数据的人都懂。 

但天翼云显然不想当那个满楼找玩具的人。他们用 Apache Doris + Iceberg 搭建了一个超大规模的湖仓一体平台，成果相当惊人：20多个项目成功落地，50多套集群规模，3000多个部署节点，存储容量超过15PB。 

这些数字背后，藏着什么样的技术内幕？

 

数据孤岛的噩梦，每个CIO都经历过

一家大型企业的CIO，手下管理着来自B域、O域、M域的海量数据。

每天早上一睁眼，就有无数个业务部门找你要数据报表。销售总监要实时销售数据，运营经理要用户行为分析，财务总监要成本核算报告...

传统的数据仓库和数据湖分离架构就像一个混乱的图书馆：小说在一楼，工具书在二楼，期刊在三楼，而你要写一篇综合性论文，得在三个楼层之间来回奔跑。数据散落在不同系统，查询性能差，成本还高得离谱。

天翼云的数据工程师们显然受够了这种折磨。他们决定用Apache Doris作为核心，构建一个真正意义上的湖仓一体方案。

 

在天翼云的架构中，Apache Doris扮演了两个关键角色，一个既会开赛车又会修车的全能选手。作为数据湖分析处理引擎，Doris与Iceberg深度融合，能够直接访问湖中数据并进行加速查询。

数据通过 Kafka 进行采集，并使用 Flink 和 Spark 实现数据加工处理。依据数据时效性的需求，数据被接入 Iceberg 数据湖或 Doris 内部存储。

这好比给数据湖装上了涡轮增压器，原本需要几分钟才能跑完的查询，现在几秒钟就搞定。更赞的是，分析结果还能写回到Iceberg中，实现了真正的数据闭环。

 

从报表到信创的全面征服

天翼云把Doris应用到了五个核心场景，每一个都有着不同的技术挑战和业务价值。

 

01 实时报表与多维分析好比企业的神经系统，需要快速准确地传递信息。

天翼云用Doris替代了原有的Impala+Redis架构，解决了稳定性差和缓存有限的问题。查询响应时间控制在0.4-0.7秒，这个速度足以让任何一个等待报表的业务经理满意。

 

02 湖仓融合分析是最考验技术功底的场景。

TB到PB级别的数据量，如果处理不当，查询一次可能要等到天荒地老。

在湖仓一体建设过程中，天翼云和 Doris 社区紧密合作，在查询性能和 Iceberg 生态对接方面共建完成了大量工作。

好比如下SQL：

SELECT name, age, email, phone, address
FROM users 
WHERE age > 25 AND city = 'Shenzhen';

 

在查询性能方面，完成了复杂类型（Array、Map、Struct）的延迟物化功能，IO请求量从几百GB降至几百MB，这种优化效果堪称神奇。

并且，还共同完成了 Iceberg 表的写回能力，并对分区数据倾斜、写入并发度调整等方面进行了深入的设计和开发。目前该功能已经在 2.1 系列版本发布。

未来，天翼云将进一步优化和增强 Doris 对 Iceberg 的数据处理能力，包括数据 Rewrite、Snapshot 管理等功能，将 Doris 打造成完善的湖仓数据处理引擎。

 

03 日志存储分析场景：安全网关和系统运维等场景基于日志的在线应用、聚类分析、异常分析、智能诊断的服务...Doris也展现出了替代ELK架构（Elasticsearch， Logstash， Kibana）的强大能力。

写入吞吐提升5倍，存储成本降低80%，百亿级日志检索实现秒级响应，查询效率提升 3 倍的显著收益!

这些数字背后，是无数个深夜加班的数据工程师终于可以早点回家的欣慰。

 

04 物联网数据分析场景对并发能力要求极高，天翼云通过合理的分区分桶规划、强大的数据索引和合理的导入批次设计，实现了平均 QPS  8000，峰值 QPS 15000 的性能表现。

这好比上万个设备同时上传数据，系统依然能够稳定运行，这种感觉就像在高速公路上开车，再多的车流也不会造成拥堵。

 

05 信创MPPDB应用场景展现了Doris在国产化道路上的坚定步伐。

天翼云与 Doris 社区、鲲鹏 ARM 芯片联合共建了以下能力：

结合毕昇编译器，编译效率提升30%；优化Bitshuffle，运行效率提升25%；对数据传输和存储的加密处理、访问控制的优化以及实时监测机制的引入，确保用户数据在使用过程中的安全性，有效防止了未授权访问和数据泄露。

这已然不仅仅是技术指标的提升，也是中国企业在核心技术领域自主可控的重要体现。

 

结语

当数据不再是孤岛，当查询不再是等待，当分析变成实时，企业的数字化转型才真正开始。天翼云的实践告诉我们，选对了工具，用对了方法，数据就能成为企业最宝贵的资产。

但Apache Doris不仅仅是一个技术工具，它更像是一把钥匙，打开了企业数据价值的大门。天翼云 x Doris 的故事还在继续，而他们的经验，值得每一个正在数字化转型路上的企业深思。

来源（公众号）：一臻数据