数据中台产品架构规划必备7件套

2021-11-30 19:16 浏览量:472

2021年还有不到1个月就要说再见了,除了感叹时光匆匆外,马上又要到季度总结、年度总结、年度规划的时候了。最近又集中地把各家公司的数据中台产品架构分析了一遍,试图除了在已有产品的迭代和打磨之余,找到一些新的启发点。看了一圈,发现大同小异。总结下来,数据中台产品最核心的也就是这几件套。

一、各大厂数据中台产品架构合集

1.阿里巴巴数据中台

阿里现在已经把阿里云上大数据相关的产品进行了抽象和打包,成为“阿里数据中台”独立的产品,广告投放的slogan“数据中台理念提出者”。结合今年云栖大会数据中台负责人的分享,阿里数据中台的核心思想是场景化驱动,“数据因场景而美好”,从应用场景出发,提炼出几款最核心的数据产品,组装成为数据中台。通用的主要是四大件:

QuickAudience:

阿里商业化的CDP平台,包括数据对接、模型配置、用户圈选与分群,渠道连接等功能,对用户的触达和营销策略的沉淀,提升用户运营的效率,让营销更简单,更高效。

QuickBI:

自助BI和数据可视化分析平台

QuickTracking:

用户行为数据采集和洞察分析

Dataphin:数据仓库规范化、系统化建模工具

最底层的数据存储及计算主要是Ma7compute以及Dataworks那些。

2.网易数帆

听过网易郭忆老师的数据中台实战课,网易数据中台产品体系确实是在实践中一点点搭建和完善起来的,各个产品切实解决了数据化运营过程的各个问题。网易数帆的产品架构重点突出数据加工和资产治理模块,将开发套件、数据标准体系建设、数据治理平台归为数据中台,把智能分析、标签系统、用户画像等数据应用产品归属到了业务前台。

3.元年科技

元年科技作为数据中台垂直领域的解决方案提供商,数据中台产品矩阵主要包括:数据服务、标签体系、指标体系、多决策建模、数据资产及数据开发等。

图片来源:元年科技官网

4.奇点云

奇点云的产品架构有点看不懂,看着像是把各个产品的罗列,没有层级的概念。例如分为平台产品(开发平台、资产治理平台)、应用产品(用户运营、智能应用)、分析产品(可视化分析、自助分析),分析类数据产品,不也属于数据应用么?

5.苏宁

苏宁的中台架构来源网络文章分享,主要架构分为四大层级,最底层是集群资源层,其次是数据开发和资产管理层,数据应用引擎层主要是可视化引擎、分析引擎以及画像引擎,最上层的数据应用层,包括报表、可视化大屏、精准营销以及个性化推荐等。

二、数据中台产品核心7件套

非常认可“数据因场景而美丽”这句话,数据的价值主要包括:数据驱动决策以及数据赋能智能应用(产品智能、运营智能)。结合各家公司的中台架构,以及这几年的数据中台实践,个人认为,数据中台产品架构最核心的产品可以分为以下7个核心部分:

1.自助BI及可视化分析

人人都是数据分析,人人都可数据可视化。通过低代码、配置化的方式,让用户基于数据资产进行拖拉拽的可视化分析,业务取数不再依赖数据团队,可视化看板、大屏直接配置生成,前端开发、接口开发都省了。

2.客户数据管理平台(CDP)

精细化运营的核心是对用户的分层运营,CDP汇聚用户数据构建标签资产,通过灵活的标签圈选能力构建目标人群进行运营触达,或人群API服务化输出。提升精细化运营效率。产品详细实践过程参考之前:CDP赋能精细化运营文章

3.Adhoc查询

数据分析、数据开发人员自由的探索式SQL取数工具,提供基于数据资产进行取数分析的能力,用户仅关注SQL逻辑,不需要关注集群资源、环境。与自助BI拖拽分析相互补充

4.机器学习平台

大数据的出口是AI,个性化推荐服务、用户画像算法标签生产都涉及到机器学习能力的建设,有了算法平台,可以更快的输出相应的算法服务,扩大算法类标签或服务接口的比例

5.数据资产地图

酒香也怕巷子深,很多时候业务是不知道数据在哪里,也就没办法去SQL取数或者拖拽分析,数据地图顾名思义,引导用户可以更快速的找到目标数据。因此需要丰富的元数据、数据描述、逻辑描述、数据搜索等能力。

6.数据治理

之前一篇文章讲过,数据质量是数据产品的生命线,不管是决策还是业务应用,数据出错了影响可能是致命的。需要基于数据质量监控产品提前发现问题,早发现早干预早恢复。除此之外,数据成本优化,生命周期管理,冷数据下线也都属于治理的范畴。

7.数据开发平台

数据开发平台可以说是最早践行低代码的数据产品之一,将集群资源、任务调度依赖、运维流程全部通过IDE界面化配置的方式实现,ETL开发人员主要聚焦于业务逻辑的实现。数据开发平台的主要功能模块(产品子类)包括:

数据集成:

将异构数据源统一汇聚到数仓,在将数据搬运到应用端数据库

实时开发:

流式数据加工处理

离线开发:

离线数据加工处理,随着大数据组件技术的发展,一些公司也开始在做基于Flink的批流一体化开发平台。

智能运维:

任务异常报警监控、一键重跑及通知等功能。

三、总结

不管是最底层的让数据加工更高效的开发工具,还是让数据输出更快捷的上层应用端产品,围绕让数据“更快、更省”地用起来的相关数据产品,都属于数据中台的产品范畴。数据中台产品架构相对通用和稳定,在一些流程贯通、数据应用更高效极致方面,可以有所侧重。在做数据中台产品规划时,可以从主体框架开始,再逐步丰富和衍生。

 

 

来源:数据干饭人

作者:千冰仪

上一篇:企业数据治理方法论,4000字都在这里了(建议收藏)

下一篇:中国指标中台市场研究报告:指标体系建设方法论及指标中台建设看这一篇就够了

  • 分享:
龙石数据
咨询电话: 0512-87811036,18013092598
联系我们
商务联系微信

商务联系微信

0512-87811036,

18013092598

咨询电话