龙石数据在数据质量领域的标准化工作中取得了显著成果，参与的两项重要标准均已正式发布。

工业化时代很多传统企业由于洞察并把握好了工业化时代的商业逻辑，在相关行业取得了各自的优势，并建立起了稳固的护城河。但不经意间他们发现：数字化时代游戏规则即将改变了，之前牢固的护城河，随时有可能被新的跨界者颠覆。曾经越是核心优势的要素，现今已渐成沉重的枷锁。原有的经验曲线不再管用，就算在原有的轨道上将工业化时代的商业逻辑发挥到极致，也无法改变即将改变的局面。传统优势企业要想数字化时代继续领跑，需要跨越工业化时代与数字化时代之间的商业鸿沟，让企业把握契机产生突变，然后进入一个新的起点和循环。 01企业产生的根源和背景 企业是社会生产力水平发展到一定阶段的产物，它是随着商品经济的发展而发展的。人类社会的生产活动，总是程度不同的社会化劳动，不同的生产力发展水平和商品经济发达程序决定了不同的生产组织形式。 企业是一个历史的概念，是社会生产力水平提高和商品经济发展的必然产物。从手工业开始，企业经历了工业企业、资本主义企业，到如今的信息时代企业，尺寸愈来愈大、趋向数字化、全球化，企业形式不断更新，管理方式不断创新。 02工业化时代企业的生存逻辑和核心价值能力 工业化时代企业的生存逻辑和核心价值能力是基于生产能力和规模经济的。这意味着企业需要能够以最低成本生产出尽可能多的产品，并且要保持竞争力和市场份额。为此，企业需要拥有先进的技术、高效的生产流程和管理能力来降低成本和提高效率，同时还需要具备强大的销售和营销能力，以确保产品的市场需求和销售量。最重要的是，企业需要不断创新，提高产品质量和性能，以保持领先地位并应对不断变化的市场需求和竞争压力。 在企业长期活动中，会逐渐形成相对固定的企业文化、组织结构、核心资产、关键资源和流程，并且沉淀下来成为组织的基因和烙印。组织基因在工业化时代是企业核心竞争力，但当面临外部环境突变时，要想让组织基因随之变革，难度太大。例如互联网时代要求组织扁平化、高效协同，传统企业还是科层式组织管理，强调层级、分工、集权，无法支撑组织敏捷应对外部变化、不能做到让听到炮声的人呼唤炮火。工业化时代商业逻辑是拥有和整合资源，但在数字化时代的平台经济和共享经济面前则表现的力不从心。 数字时代最大的改变是“数据”成为生产要素。工业时代所关注的资源，到了数字时代有些变成了基础条件，有些重资产已经变得不再重要。因此，企业必须能够做到融合新的要素：数字技术和数据。在以客户为中心的时代，企业已无力仅动用自身的资源，来全面覆盖和响应客户多样化、个性化、体验化、便捷化的需求，甚至只能覆盖很小的一部分。新要素和新游戏规则的出现，使得产业边界、企业边界逐渐模糊。所以，企业必须聚集外部的一切可用的资源，为企业注入活力。 03数字化时代企业的生存环境和逻辑发生了根本性变化 1、企业外部环境的变化 需求在改变（人） 数字化时代，市场从产品导向转向需求和场景导向，企业看不清消费者在哪里。消费者从关注交易价值和产品价值，延伸到使用价值和场景价值；从关注个体价值到关注群体价值。消费者要求更快、更便利、更丰富、更好的体验，更高的品质，更个性化，更时尚，需要不断变化。 场景在转变（场） 消费者已不在原来的场景中，消费场景逐渐变得无处不在，对场景的参与度也越来越高。从实体场景到互联网场景，再到社交场景，然后是融合性场景，生活圈即消费商圈。 逻辑在蜕变（货） 消费者从关注物资产品和功能，到关注精神、健康产品和内容。消费者需要随意时间、随意场景和随意渠道购物，并能更快收到所购买的商品。顾得的要求是：需求准、交付快、体验好。 2、企业生存逻辑的变化 场景思维是以用户需求场景和体验场景驱动的，依据这些场景来定位用户群体，给用户群体提供什么样的数字化产品和服务，这些产品和服务通过哪些渠道触点跟用户触达和互动。通常一个企业的资源无法覆盖整个需求场景，场景涉及的人、货、场大多时候都需要跟其他企业生态协作，然后共同向用户提供体验化的闭环场景服务。 04数字化时代企业的核心价值能力 1. 连接力 在消费互联网时代，将企业和用户的互动渠道称之为“数字化触点”；在产业互联网时代，企业和用户的互动渠道称为“数字化连接”可能更恰当。物联网、云计算和大数据的发展，众多的智能设备、智能终端和可穿戴设备，通过物联网技术连接人-企业、人-人、人-智能设备、人-智能产品。 从某种意义来讲，数字化连接有几层含义：一是指企业跟客户互动和价值交换的渠道和场所，为客户提供一致的服务和体验；二是解决和员工、合作伙伴的链接；三是解决和设备与终端之间的连接；四是解决物理世界和数字世界的连接适配器，通过数字化连接体系，将物理世界的用户行为、交易、体验等场景信息映射到数字世界。 2. 数字力 数字力通常指的是数字技术和数字基础设施所带来的能力和力量，也是人们使用数字科技、数字工具以及互联网等数字化环境的能力。它具有以下几个方面的特点： 数据创造力：数据力指的是数据收集、存储、处理和分析的能力。随着计算机技术和互联网技术的飞速发展，数据收集和处理的能力不断增强，使得数据的价值和应用范围也得到极大拓展，这为数据力的进一步发挥提供了巨大的动力。 数字生产力：数字力指的是数字技术在创造和生产过程中所发挥的创新和生产力。通过数字化、自动化和智能化技术手段，数字力能够大幅提高劳动生产率，实现生产过程的高效、精准和快速化，从而提高企业和个人的竞争力。 数字流通力：数字力强调数字世界的互联互通和信息共享的能力。数字基础设施，如互联网、云计算、物联网等技术手段使得数字信息能够高速地流通、交易和共享，从而推动数字经济、数字娱乐、数字文化、数字医疗等领域的发展。 数字控制力：数字力的另一个重要特征就是数字控制力。数字技术和算法的发展，让数字力成为各种行业和领域决策的重要参考和支持。 3. 增长力 增长力强调了利用数据和分析来推动企业在市场上的增长能力，它具有以下几个方面的意义： 数据分析带来的洞见：通过数据分析，企业能够更好地了解市场和消费者需求，为其提供更好的产品和服务。这样，数据分析将成为企业获得竞争优势的重要手段。 数据支持判断和决策：数据分析不仅可以更好地了解市场和客户，也可以了解企业在市场中的表现。可以帮助企业进行判断和决策，从而提高其增长能力。 数据驱动的创新：数据分析可以帮助企业发现新市场或领域，从而更好地开发新产品或提供新服务。同时，数据分析也可以帮助企业进行产品或服务的改进和优化。 数据的实时性：借助实时数据分析，企业可以更好地迎接市场变化，快速响应市场波动，从而保持其竞争优势和增长能力。 05结语 将企业的核心能力提炼成“企业价值能力”比“企业业务能力”更加合适。企业的成功不仅仅在于其业务能力，还取决于其创造的价值和对社会的贡献程度。所谓“企业价值能力”是指企业强调的是持续的经济、社会和环境价值创造能力。数字化时代，企业的价值能力可以由企业业务能力和企业数字能力组成。 企业业务能力包括企业的基础业务能力和核心业务能力，是支持企业运营的基本能力，包括生产、供应链、人力资源管理等业务能力。 企业数字能力是指企业基于数字化技术和平台所形成的运作方式和能力，包括数字化生产、数字化经营、数字化营销等各个方面。在数字化时代，由于数字技术的广泛应用，企业数字能力的提高在企业的价值创造过程中显得更加重要。数字化时代企业的生存逻辑和核心价值能力更加强调数字技术和数据驱动的创新能力、业务转型和个性化服务能力。数字化时代的企业需要通过数字技术去发掘商业模式与细分领域，加强数据驱动创新、开拓新的流量池和服务市场。 来源（公众号）： 三界逆熵实验室

八大举措，力促数据产业高质量发展。

中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）秉持创新引领、协同共进的理念，致力于促进大数据技术的标准化建设与大数据产业的良性发展。 近日，CCSA TC601在线上成功召开了2024年终总结会议。该会议旨在回顾过去一年的硕果，表彰了在大数据技术标准化工作中表现突出的企业和专家，并规划2025年的工作蓝图。 在2024年，中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）举办了23场专题沙龙和超百余场线上技术标准讨论会，吸引了来自不同行业和背景的专业人士，共同探讨大数据的发展趋势、技术应用和创新实践案例。龙石数据创始人兼总经理练海荣凭借在大数据领域的卓越贡献，获评“2024年度突出贡献专家”。 专家介绍 练海荣 龙石数据 总经理 西安交通大学与法国SKEMA大数据与人工智能管理专业硕士，曾任职于“神州数码、甲骨文、新电信息”等中外知名企业，现任龙石数据总经理。具有中国信通院政务大数据方向智库专家、中国电子商会团体标准编制组成员、中国电子商会数据要素发展工作委员会常务理事、中国电子信息行业联合会数据与治理专业委员会委员、中国计算机学会会员、TGO鲲鹏会苏州分会会长、工信部认证首席数据官、高级数字政府规划师等资质。先后参与7项数据相关标准的制定工作、参与国家数据局《“十五五”时期数据资源高质量供给和高效利用路径及任务举措研究》课题研究。

《数字中国建设整体布局规划》（以下简称《规划》）的发布，标志着中国在迈向数字化新时代过程中，进一步明确了数字中国建设的战略方针和实践路径。从目标上看，计划分阶段推进，明确了到2025年和2035年两个关键节点的阶段性成果，力求在数字基础设施、数字经济、数字政务、数字文化等方面取得重要突破，为实现数字中国的战略目标奠定基础。

实时计算初期 虽然实时计算在最近几年才火起来，但是在早期也有不少公司有实时计算的需求，但数据量不成规模，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下： 如上图所示，拿到数据源后，会经过数据清洗，扩维，通过Flink进行业务逻辑处理，最后直接进行业务输出。把这个环节拆开来看，数据源端会重复引用相同的数据源，后面进行清洗、过滤、扩维等操作，都要重复做一遍，唯一不同的是业务的代码逻辑是不一样的。 随着产品和业务人员对实时数据需求的不断增多，这种开发模式出现的问题越来越多： 1.数据指标越来越多，“烟囱式”的开发导致代码耦合问题严重。 2.需求越来越多，有的需要明细数据，有的需要 OLAP 分析。单一的开发模式难以应付多种需求。 3.每个需求都要申请资源，导致资源成本急速膨胀，资源不能集约有效利用。 4.缺少完善的监控系统，无法在对业务产生影响之前发现并修复问题。 大家看实时数仓的发展和出现的问题，和离线数仓非常类似，后期数据量大了之后产生了各种问题，离线数仓当时是怎么解决的？离线数仓通过分层架构使数据解耦，多个业务可以共用数据，实时数仓是否也可以用分层架构呢？当然是可以的，但是细节上和离线的分层还是有一些不同，稍后会讲到。 实时数仓建设 从方法论来讲，实时和离线是非常相似的，离线数仓早期的时候也是具体问题具体分析，当数据规模涨到一定量的时候才会考虑如何治理。分层是一种非常有效的数据治理方式，所以在实时数仓如何进行管理的问题上，首先考虑的也是分层的处理逻辑。 实时数仓的架构如下图： 从上图中我们具体分析下每层的作用： 数据源：在数据源的层面，离线和实时在数据源是一致的，主要分为日志类和业务类，日志类又包括用户日志，埋点日志以及服务器日志等。 实时明细层：在明细层，为了解决重复建设的问题，要进行统一构建，利用离线数仓的模式，建设统一的基础明细数据层，按照主题进行管理，明细层的目的是给下游提供直接可用的数据，因此要对基础层进行统一的加工，比如清洗、过滤、扩维等。 汇总层：汇总层通过Flink的简洁算子直接可以算出结果，并且形成汇总指标池，所有的指标都统一在汇总层加工，所有人按照统一的规范管理建设，形成可复用的汇总结果。 我们可以看出，实时数仓和离线数仓的分层非常类似，比如 数据源层，明细层，汇总层，乃至应用层，他们命名的模式可能都是一样的。但仔细比较不难发现，两者有很多区别： 1.与离线数仓相比，实时数仓的层次更少一些： 从目前建设离线数仓的经验来看，数仓的数据明细层内容会非常丰富，处理明细数据外一般还会包含轻度汇总层的概念，另外离线数仓中应用层数据在数仓内部，但实时数仓中，app 应用层数据已经落入应用系统的存储介质中，可以把该层与数仓的表分离。 2.应用层少建设的好处： 实时处理数据的时候，每建一个层次，数据必然会产生一定的延迟。 3.汇总层少建的好处： 在汇总统计的时候，往往为了容忍一部分数据的延迟，可能会人为的制造一些延迟来保证数据的准确。举例，在统计跨天相关的订单事件中的数据时，可能会等到 00:00:05 或者 00:00:10 再统计，确保 00:00 前的数据已经全部接受到位了，再进行统计。所以，汇总层的层次太多的话，就会更大的加重人为造成的数据延迟。 4.与离线数仓相比，实时数仓的数据源存储不同： 在建设离线数仓的时候，基本整个离线数仓都是建立在 Hive 表之上。但是，在建设实时数仓的时候，同一份表，会使用不同的方式进行存储。比如常见的情况下，明细数据或者汇总数据都会存在 Kafka 里面，但是像城市、渠道等维度信息需要借助 Hbase，MySQL 或者其他 KV 存储等数据库来进行存储。 Lambda架构的实时数仓 下图是基于 Flink 和 Kafka 的 Lambda 架构的具体实践，上层是实时计算，下层是离线计算，横向是按计算引擎来分，纵向是按实时数仓来区分： Lambda架构是比较经典的架构，以前实时的场景不是很多，以离线为主，当附加了实时场景后，由于离线和实时的时效性不同，导致技术生态是不一样的。Lambda架构相当于附加了一条实时生产链路，在应用层面进行一个整合，双路生产，各自独立。这在业务应用中也是顺理成章采用的一种方式。 双路生产会存在一些问题，比如加工逻辑double，开发运维也会double，资源同样会变成两个资源链路。因为存在以上问题，所以又演进了一个Kappa架构。 Kappa架构的实时数仓 Kappa架构相当于去掉了离线计算部分的Lambda架构，具体如下图所示： Kappa架构从架构设计来讲比较简单，生产统一，一套逻辑同时生产离线和实时。但是在实际应用场景有比较大的局限性，因为实时数据的同一份表，会使用不同的方式进行存储，这就导致关联时需要跨数据源，操作数据有很大局限性，所以在业内直接用Kappa架构生产落地的案例不多见，且场景比较单一。 关于 Kappa 架构，熟悉实时数仓生产的同学，可能会有一个疑问。因为我们经常会面临业务变更，所以很多业务逻辑是需要去迭代的。之前产出的一些数据，如果口径变更了，就需要重算，甚至重刷历史数据。对于实时数仓来说，怎么去解决数据重算问题？ Kappa 架构在这一块的思路是：首先要准备好一个能够存储历史数据的消息队列，比如 Kafka，并且这个消息队列是可以支持你从某个历史的节点重新开始消费的。接着需要新起一个任务，从原来比较早的一个时间节点去消费 Kafka 上的数据，然后当这个新的任务运行的进度已经能够和现在的正在跑的任务齐平的时候，你就可以把现在任务的下游切换到新的任务上面，旧的任务就可以停掉，并且原来产出的结果表也可以被删掉。 流批结合的实时数仓 随着实时 OLAP 技术的发展，目前开源的OLAP引擎在性能，易用等方面有了很大的提升，如Doris、Presto等，加上数据湖技术的迅速发展，使得流批结合的方式变得简单。 如下图是流批结合的实时数仓： 数据从日志统一采集到消息队列，再到实时数仓，作为基础数据流的建设是统一的。之后对于日志类实时特征，实时大屏类应用走实时流计算。对于Binlog类业务分析走实时OLAP批处理。 我们看到流批结合的方式与上面几种架构使用的组件发生了变化，多了数据湖 Iceberg 和 OLAP 引擎 Presto。Iceberg是介于上层计算引擎和底层存储格式之间的一个中间层，我们可以把它定义成一种“数据组织格式”，底层存储还是HDFS，Iceberg的ACID能力可以简化整个流水线的设计，降低整个流水线的延迟，并且所具有的修改、删除能力能够有效地降低开销，提升效率。Iceberg可以有效支持批处理的高吞吐数据扫描和流计算按分区粒度并发实时处理。OLAP查询引擎使用Presto，Presto是一个分布式的采用MPP架构的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。擅长对海量数据进行复杂的分析。 来源（公众号）：五分钟学大数据

龙石数据总经理练海荣、龙石数据咨询总监孙晓宁入选中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）政务大数据方向智库专家。

《征求意见稿》的发布，标志着国家对数据基础设施建设的重视进入了新阶段，明确了数据基础设施在数字中国建设中的关键作用。本文将从重点内容、新看点和潜在影响三个方面对该指引进行解读。

本文将从什么是数据架构、数据架构的发展历程、流行的企业架构框架、数据管理系统及数据架构的类型等方面来阐释数据架构的优势和重要性。

日前，为促进构建行业交流平台，激发产业创新共荣，大数据技术标准推进委员会以“数据重塑价值 智能链接未来”为主题，在北京召开“2024数据资产管理大会”。会上，由中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）编制的《数据治理产业图谱3.0》正式发布。 本次图谱梳理了数据治理产业发展的新现状，建立了全新的数据服务商“特征”画像，并总结了服务商的发展趋势，为各方在数据治理领域的布局规划和未来发展提供参考。其中，作为数据管理领域的践行者，凭借卓越的技术创新实力与优秀的综合表现，龙石数据荣誉入选中国信通院《数据治理产业图谱3.0》。 点击图片获取高清图谱 龙石数据是数据管理领域的影响力企业，以数据要素价值运营和第三方数据质量管理评估为核心业务，配套数据管理制度咨询服务，为客户构建咨询服务、平台建设和实施服务“三位一体”的数据要素价值运营解决方案。 此次入选，是对龙石数据实力和口碑的充分认可。展望未来，龙石数据将继续聚焦于数据管理核心领域，积极开拓数据要素流通的高效路径和数字经济的高质量发展。