在数字化转型的时代背景下，数据治理已成为企业提升核心竞争力的关键。其中，数据标准化作为数据治理的重要组成部分，对确保数据质量、提升数据价值、保障数据安全具有不可替代的作用。本文将探讨数据标准化的构建策略与实施路径，为企业实现高效数据治理提供参考。 数据标准化的重要性 数据标准化是通过制定一套由管理制度、管控流程和技术工具共同组成的体系，来对数据定义、分类、格式、编码等进行标准化管理。对企业而言，数据标准化意味着对数据类型、长度、归属部门等定义一套统一的规范，以保障不同业务系统之间对同样的数据理解统一和使用统一。 数据标准化的重要性体现在以下几个方面： 消除数据不一致：通过统一的数据标准，可以消除数据存储结构、定义、理解以及来源的不一致性，从而实现企业级单一数据视图的形成，促进信息资源共享。 提升数据质量：数据标准可以作为新建系统的参考依据，减少数据转换，提高数据质量。同时，数据标准还可以支撑系统改造，促进系统集成。 提高工作效率：对业务人员而言，数据标准建设可提升业务规范性，保障人员对数据业务含义理解一致；对技术人员而言，数据标准可以提升系统实施工作效率，降低出错率。 支撑经营决策：数据标准建设可以提供更加完整、准确的数据，支撑经营决策和精细化管理。 数据标准化的构建策略 数据标准化的构建策略主要包括以下几个方面： 明确战略定位：将数据治理纳入整体战略规划中，明确数据治理在企业数字化转型中的核心地位，以及其对业务决策、产品创新、风险防控等方面的支撑作用。 设定具体目标：根据企业实际情况，设定清晰、可量化的数据治理目标，如提升数据质量、增强数据安全性、促进数据共享与利用等。 成立数据治理委员会：由高层管理者牵头，跨部门组建数据治理委员会，负责数据治理战略的制定、监督执行及效果评估。 制定数据政策：建立全面的数据政策体系，包括数据分类分级、数据访问控制、数据质量管理、数据安全保护等方面的政策。 在构建数据标准化的过程中，还需要特别注意以下几个方面： 参考国际和行业标准：在制定企业数据标准时，应首先收集现行的国家标准或行业标准，再根据企业需求确定数据标准的范围。 数据标准分类规划：数据标准可以从数据结构、数据内容来源、技术业务三个维度进行分类，如结构化数据标准、非结构化数据标准、基础类数据标准、派生类数据标准、业务数据标准和技术数据标准等。 定义数据标准体系框架和分类：在数据标准调研的基础上，结合行业最佳实践，定义企业自身的数据标准体系框架和分类。 数据标准化的实施路径 数据标准化的实施路径主要包括以下几个阶段： 数据标准设计制定：定义数据标准及相关规则，包括对数据标准的主题、信息大类、信息小类、信息项、数据类型、数据长度、数据定义、数据规则等进行规划设计。 评审与修订：在完成初步的数据标准定义后，征询数据管理部门、数据标准部门以及相关业务部门的意见，并进行意见分析和标准修订。 标准发布：最终发布数据标准，并在执行过程中加强对业务人员的数据标准培训、宣贯工作。 数据采集清洗：通过ETL工具将数据从来源端经过抽取、转换、加载至目的端，确保数据的准确性和完整性。 数据库设计与存储：基于业务理解，设计数据库表结构，并根据数据资源清单设计数据采集清洗流程，将整洁干净的数据存储到数据库或数据仓库中。 元数据管理：对基础库和主题库中的数据项属性进行管理，并将数据项的业务含义与数据项进行关联，便于业务人员理解数据库中的数据字段含义。 数据质量管理：建立数据质量管理和校验的流程，包括数据清洗、数据验证和异常处理等，确保数据的准确性和完整性。 数据安全管理：确定数据的安全要求和分类标准，如敏感度、保密性、可用性等，并建立数据的安全管理和保护的流程。 在数据标准执行过程中，还需要特别注意以下几个方面： 评估确定落地范围：选择某一要点作为数据标准落地的目标，如业务的维护流程、客户信息采集规范、某个系统的建设等。 制定落地方案：深入分析数据标准要求与现状的实际差异，以及落标的潜在影响和收益，并确定执行方案和计划。 推动方案执行：推动数据标准执行方案的实施和标准管控流程的执行。 跟踪评估成效：综合评价数据标准落地的实施成效，跟踪监督标准落地流程执行情况，收集标准修订需求。 数据标准化的持续优化 数据标准并非一成不变，而是会随着业务的发展变化以及数据标准执行效果而不断更新和完善。 在数据标准维护的初期，需要完成需求收集、需求评审、变更评审、发布等多项工作，并对所有的修订进行版本管理。 中期应完成数据标准日常维护工作与数据标准定期维护工作。 后期应重新制定数据标准在各业务部门、各系统的落地方案，并制定相应的落地计划。 来源（公众号）：数据治理体系
1.数据，是指任何以电子或其他方式对信息的记录。数据在不同视角下被称为原始数据、衍生数据、数据资源、数据产品和服务、数据资产、数据要素等。 2.原始数据，是指初次产生或源头收集的、未经加工处理的数据。 3.数据资源，是指具有价值创造潜力的数据的总称，通常指以电子化形式记录和保存、可机器读取、可供社会化再利用的数据集合。 4.数据要素，是指投入到生产经营活动、参与价值创造的数据资源。 5.数据产品和服务，是指基于数据加工形成的，可满足特定需求的数据加工品和数据服务。 6.数据资产，是指特定主体合法拥有或者控制的，能进行货币计量的，且能带来经济利益或社会效益的数据资源。 7.数据要素市场化配置，是指通过市场机制来配置数据这一新型生产要素，旨在建立一个更加开放、安全和高效的数据流通环境，不断释放数据要素价值。 8.数据处理，包括数据的收集、存储、使用、加工、传输、提供、公开等。 9.数据处理者，是指在数据处理活动中自主决定处理目的和处理方式的个人或者组织。 10.受托数据处理者，是指接受他人委托处理数据的个人或者组织。 11.数据流通，是指数据在不同主体之间流动的过程，包括数据开放、共享、交易、交换等。 12.数据交易，是指数据供方和需方之间进行的，以特定形态数据为标的，以货币或者其他等价物作为对价的交易行为。 13.数据治理，是指提升数据的质量、安全、合规性，推动数据有效利用的过程，包含组织数据治理、行业数据治理、社会数据治理等。 14.数据安全，是指通过采取必要措施，确保数据处于有效保护和合法利用的状态，以及具备保障持续安全状态的能力。 15.公共数据，是指各级党政机关、企事业单位依法履职或提供公共服务过程中产生的数据。 16.数字产业化，是指移动通信、人工智能等数字技术向数字产品、数字服务转化，数据向资源、要素转化，形成数字新产业、新业态、新模式的过程。 17.产业数字化，是指传统的农业、工业、服务业等产业通过应用数字技术、采集融合数据、挖掘数据资源价值，提升业务运行效率，降低生产经营成本，进而重构思维认知，整体性重塑组织管理模式，系统性变革生产运营流程，不断提升全要素生产率的过程。 18.数字经济高质量发展，是指围绕加快培育新质生产力，以数据要素市场化配置改革为主线，通过协同完善数据基础制度和数字基础设施、全面推进数字技术和实体经济深度融合、持续提升数字经济治理能力和国际合作水平，实现做强做优做大目标的数字经济发展新阶段。 19.数字消费，是指数字技术、应用支撑形成的消费活动和消费方式，既包括对数智化技术、产品和服务的消费，也包括消费内容、消费渠道、消费环境的数字化与智能化，还包括线上线下深度融合的消费新模式。 20.产业互联网，是指利用数字技术、数据要素推动全产业链数据融通，赋能产业数字化、网络化、智能化发展，推动业务流程、组织架构、生产方式等重组变革，实现产业链上下游协同转型、线上线下融合发展、全产业降本增效与高质量发展，进而形成新的产业协作、资源配置和价值创造体系。 21.城市全域数字化转型，是指城市以全面深化数据融通和开发利用为主线，综合利用数字技术和制度创新工具，实现技术架构重塑、城市管理流程变革和产城深度融合，促进数字化转型全领域增效、支撑能力全方位增强、转型生态全过程优化的城市高质量发展新模式。 22.“东数西算”工程，是把东部地区经济活动产生的数据和需求放到西部地区计算和处理，对数据中心在布局、网络、电力、能耗、算力、数据等方面进行统筹规划的重大工程，比如人工智能模型训练推理、机器学习等业务场景，可以通过“东数西算”的方式让东部业务向西部风光水电丰富的区域迁移，实现东西部协同发展。加快推动“东数西算”工程建设，将有效激发数据要素创新活力，加速数字产业化和产业数字化进程，催生新技术、新产业、新业态、新模式，支撑经济高质量发展。 23.高速数据网，是指面向数据流通利用场景，依托网络虚拟化、软件定义网络（SDN）等技术，提供弹性带宽、安全可靠、传输高效的数据传输服务。 24.全国一体化算力网，是指以信息网络技术为载体，促进全国范围内各类算力资源高比例、大规模一体化调度运营的数字基础设施。作为“东数西算”工程的2.0版本，具有集约化、一体化、协同化、价值化四个典型特征。 25.元数据，是定义和描述特定数据的数据，它提供了关于数据的结构、特征和关系的信息，有助于组织、查找、理解、管理数据。 26.结构化数据，是指一种数据表示形式，按此种形式，由数据元素汇集而成的每个记录的结构都是一致的，并且可以使用关系模型予以有效描述。 27.半结构化数据，是指不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层的一种数据化结构形式。 28.非结构化数据，是指不具有预定义模型或未以预定义方式组织的数据。 29.数据分析，是指通过特定的技术和方法，对数据进行整理、研究、推理和概括总结，从数据中提取有用信息、发现规律、形成结论的过程。 30.数据挖掘，是数据分析的一种手段，是通过统计分析、机器学习、模式识别、专家系统等技术，挖掘出隐藏在数据中的信息或者价值的过程。 31.数据可视化，是指通过统计图表、图形、地图等图形化手段，将数据中包含的有用信息清晰有效地传达出来，以便于数据使用者更好地理解和分析数据。 32.数据仓库，是指在数据准备之后用于永久性存储数据的数据库。 33.数据湖，是指一种高度可扩展的数据存储架构，它专门用于存储大量原始数据和衍生数据，这些数据可以来自各种来源并以不同的格式存在，包括结构化、半结构化和非结构化数据。 34.湖仓一体，是指一种新型的开放式的存储架构，打通了数据仓库和数据湖，将数据仓库的高性能及管理能力与数据湖的灵活性融合起来，底层支持多种数据类型并存，能实现数据间的相互共享，上层可以通过统一封装的接口进行访问，可同时支持实时查询和分析。 35.隐私保护计算，是指在保证数据提供方不泄露原始数据的前提下，对数据进行分析计算的一类信息技术，保障数据在产生、存储、计算、应用、销毁等数据流转全过程的各个环节中“可用不可见”。隐私保护计算的常用技术方案有安全多方计算、联邦学习、可信执行环境、密态计算等。常用的底层技术有混淆电路、不经意传输、秘密分享、同态加密等。 36.安全多方计算，是指在一个分布式网络中，多个参与实体各自持有秘密数据，各方希望以这些数据为输入共同完成对某函数的计算，而要求每个参与实体除计算结果、预期可公开的信息外均不能得到其他参与实体的任何输入信息。主要研究针对无可信第三方情况下，安全地进行多方协同的计算问题。 37.联邦学习，是指一种多个参与方在保证各自原始私有数据不出数据方定义的可信域的前提下，以保护隐私数据的方式交换中间计算结果，从而协作完成某项机器学习任务的模式。 38.可信执行环境，是指基于硬件级隔离及安全启动机制，为确保安全敏感应用相关数据和代码的机密性、完整性、真实性和不可否认性目标构建的一种软件运行环境。 39.密态计算，是指通过综合利用密码学、可信硬件和系统安全相关技术，实现计算过程数据可用不可见，计算结果能够保持密态化，以支持构建复杂组合计算，实现计算全链路保障，防止数据泄漏和滥用。 40.区块链，是分布式网络、加密技术、智能合约等多种技术集成的新型数据库软件，具有多中心化、共识可信、不可篡改、可追溯等特性，主要用于解决数据流通过程中的信任和安全问题。 来源：国家数据局
2014年，大数据首次写入政府工作报告，大数据逐渐成为各级政府关注的热点；2019年10月，十九届四中全会首次将数据纳入生产要素范畴；2023年2月，中共中央、国务院印发的《数字中国建设整体布局规划》，将数据要素放到一个更为宏大的“数字中国”图景中；3月7日，十四届全国人大会议上，根据国务院关于提请审议国务院机构改革方案的议案，我国将组建国家数据局。随着国家政策的密集发布，数据作为关键生产要素的地位进一步明确。 数据成为数字经济的关键生产要素 数据并非从诞生起就是生产要素。近二十年来，人类采集数据、处理数据的能力有了质的跃升，经济活动数字化转型加快，数据才逐渐具备成为生产要素的性质，对提高生产效率的乘数作用凸现。激活数据要素的根本目的是以多样、创新的方式投入生产，为经济社会生产创造更大的价值。 数据要素究竟如何发挥其作为生产要素的价值，需要进一步分析厘清。随着信息技术的发展和产业应用的演化，数据要素投入生产的途径可分为三次价值释放过程，即数据支撑业务贯通、数据推动数智决策、数据流通对外赋能，如上图所示。需要注意的是，之所以说这三次价值是数据要素价值释放的三条途径，是因为一方面这三次价值之间存在一种递进关系，后者往往以前者为基础；另一方面，这三条途径存在一种并列关系，这些价值可以且有必要同时予以关注、同时充分释放。 一次价值：数据支撑业务贯通 数据投入生产的一次价值体现在支撑政府、企业等组织的业务系统运转，实现业务间的贯通。首先，数据经由各个业务系统的设计而产生，经过业务系统的规范，在特定范围内实现标准化的数据得以不断积累，逐渐汇聚成可利用的资源。其次，这些数据也支撑着业务系统的正常运转，通过计算机对数据的读写，实现业务初步的标准化、自动化管理和运营。最后，一定程度标准化的数据具备了通用性，数据得以贯通了线下与线上的界限，贯通业务流程间的界限，甚至有贯通组织内部业务领域间的界限的能力。总之，业务系统搭建起来、数据在系统中运转起来时，就已经在生产活动中释放出价值。 从投入生产的执行环节看，数据支撑业务贯通直观表现为提高劳动等生产要素的利用率。技术要素与之类似，通过将技术投入生产环节，实现业务流程中对部分劳动、岗位的替代，发挥其乘数作用。在这个意义上，就像将技术投入生产释放价值一样，发挥数据要素作用的首要工作是充分认识数据要素的作用，真正在业务中用到数据、贯通业务。 此时，数据以业务系统为单元集中产生、单一存储，相应的治理工作也以增、删、改、查、对齐、合并等常规的数据库管理为主，多集中于局部业务领域的流程改善和相关业务数据的贯通。虽然此阶段数据并未得到深度整合与分析，但无论是开发系统积累数据，还是操作数据规范业务流程，还是利用数据贯通业务，它们都是数据世界内的生产活动，创造出相应的价值。 因此，数据的一次价值是是实现数字化转型、提高组织内部经营管理效率的第一步。为推动数据的一次价值释放，政府、企业等组织的主要工作重心是业务数据化及各类业务信息系统建设。例如，二十年前，我国以“两网、一站、四库、十二金”工程为代表的电子政务建设全面开展，经过多年推进，各级政府业务信息系统建设和应用成效显著，通过业务数据化的方式实现了数据在系统中的有效运转和贯通，公共服务水平得到全面提升，为当今的数字政府建设奠定了基础。这一阶段，组织内部所持有的数据种类相对单一、计算的要求简单，技术门槛较低，关键是深入挖掘业务需求，明确业务数据化方向。当前仍有大量行业、大量企业未能有效实现数字化转型，“流程靠跑、查询靠问”的传统工作模式拖累了生产效率的提升。 总之，数据要素的一次价值如同寻找矿洞、积累矿藏，是数据要素流通的基础工作。在众多行业和企业尚不具备业务数据化能力的背景下，对这些行业和企业谈论数据要素市场还为时过早。更好发挥数据要素作用，需要帮助这些行业和企业释放数据要素的一次价值，用数据支撑起业务贯通。随着业务需求的挖掘和业务信息系统的建设，大量宝贵的业务数据不断积累，组织内业务系统数据独立存储、共享壁垒高筑的情形不再适应生产经营发展的需要，数据统一管理、贯通使用的场景不断涌现，为进一步挖掘数据的生产要素价值奠定了重要基础。 二次价值：数据推动智能决策 数据要素投入生产的二次价值释放体现在，通过数据的加工、分析、建模，可以揭示出更深层次的关系和规律，使生产、经营、服务、治理等环节的决策更智慧、更智能、更精准。一方面，通过对大量数据的管理和分析，组织内部的决策者可以实现“用数据说话、用数据决策”，运用数据呈现出的关键指标与信息评估发展态势，即时有效防范化解风险，创新行动方略；另一方面，数据分析也直接嵌入到系统中，与业务紧密融合，即时的数据挖掘、分类、预测、聚类等直接向业务赋予智能化的价值。 这两方面中，数据都是通过带来新信息、实现认知层面的升级来创造生产价值。从控制论的角度看，物质、能量和信息是构成世界的三大基石，信息不是物质也不是能量。如同土地要素是所有生产经营活动的物质基础，资本要素提高了物质交换的效率，劳动要素和技术要素促进了能量的转移与转换，数据要素可以支撑起对信息这一基石的创造与转换。与其他要素相比，对信息的把握与运用是数据要素价值释放的独特所在。数据要素的二次价值中，“决策”一词是广义的含义，既包括人的抉择与决策，又包括业界所说的机器“智能化决策”。 人和机器都可以根据各种信息、规律、规则做出选择，人可以用数据更好地认识形势和规律，人的能力难以认知到的业务规则可以交给机器认知。从根本上讲，数据二次价值释放是深层关系与规律的挖掘带来的认知突破，提供了独特的观察视角，由此构建出理解、预测乃至控制事物运行的新体系，从而摆脱了经验和人工的局限。 当前，一些头部制造业企业已建立起针对业务管理和经营决策的完整数据链，部分关键的经营管理决策动作可以被数据替代，从而实现通过业务智能化优化管理岗位用工结构；各大银行充分整合中小企业的经营数据，挖掘更准确的企业客户画像与信用评分，由此决定中小企业贷款风险评估结果，为中小企业低成本融资提供可能。 可以看到，数据要素不仅可以投入于自有业务支撑分析决策，还能够与其他生产要素的交融，形成新的要素组合和要素结构。数据驱动的智慧化、智能化决策通过与传统要素的业务化结合，可以实现更少的要素资源投入创造更多的物质财富和服务，从而优化传统生产要素的经营与配置，使传统要素价值倍增，提升全要素生产效率，实现生产率跃升、产业链优化和竞争力重塑。 总之，数据要素的二次价值具有其他生产要素不具备的独特性，是数据要素价值释放的核心所在。数据要素流通的重要目标也是回馈二次价值的释放，使数据在认知决策层的价值惠及广大主体，因此数据要素二次价值的基础也必须筑牢。为推动数据要素二次价值的释放，各组织需主动提升数据意识和数据挖掘能力，在数据分析、人工智能等技术的辅助下，构建数据自动化、智能化采集、处理、执行的新生产体系，消除人的认知误区和主观偏见，发挥数据要素在生产力竞争中的关键作用。 战略决策者可以结合对业务目标的深刻理解，利用大量数据挖掘呈现的结果做出更具智慧的决策，执行层可以充分利用数据分析结果，让人通过智能的关联、图谱等做出更有效的选择，让机器寻找关键的函数、标签、画像，实现自动化的预测、分析，使数据的二次价值回馈一次价值，业务运转变得更加智能。 三次价值：数据流通对外赋能 数据要素投入生产的三次价值释放让数据流通到更需要的地方，让不同来源的优质数据在新的业务需求和场景中汇聚融合，实现双赢、多赢的价值利用。流通赋能是数据要素价值飞跃的一个关键。一方面，数据具有规模报酬递增效应，越大规模、越多维度的数据融合汇聚创造的价值倍增，金融、物流、通信、汽车等等经济活动中的各类事项均可被多方来源的数据赋能，企业自有数据与外部数据的充分融合可以实现数据应用价值的最大化。因此，随着各组织对数据一次价值、二次价值的释放，各组织对于数据的渴求已经超越了自身产生的数据。 另一方面，现阶段大量数据集中于少数主体，数据要素分布不均、结构失衡的问题较为突出。数据具有的低成本复制性可以改变要素投入生产的结构，更大规模、更广范围的数据要素利用不会增加过多额外成本，但可以产生超额利润，带来社会福利增加。“数据二十条”强调促进全体人民共享数字经济发展红利，数据要素流通可以激发数据的正外部性，使数据价值惠及广大市场主体和全体人民。 历史经验表明，生产要素并不必然需要流通，但流通有助于进一步释放生产要素价值。农业领域，土地要素自古释放着生产粮食的价值。土地流转政策的改革与落地，让土地在供方和需方间有效流转，进一步促进了农民获得财产性增收，激活了农业剩余劳动力的转移。参考土地要素流转经验，结合数据要素自身属性，数据要素的三次价值释放需要各组织有效管理自有数据，提升高质量数据供给能力，挖掘外部数据引入需求。需求与供给间存在对立统一的关系，各组织及相关服务商需要关注多元化能力的提升。一次数据流通过程中，数据供给方和需求方虽然不是同一主体，但一个主体可以兼具数据供给者和需求者的身份，在不同业务场景中进行转换。 在追求利益的市场自发手段调节下，需求能够牵引供给，供给也能创造需求。供给方与需求方的数据框架在相互对齐的过程中，不断扩大相应的市场规模，增加新的经济增长点，从而实现在多元场景中持续释放数据要素的业务价值、经济价值和社会价值。 为实现数据供需双方高效规范匹配，数据要素市场培育逐渐成为行业关注焦点。市场的基本含义是各方在共识规约下自由参与交换的场所。数据要素市场就是以数据供方、需方为主体，以各种形态的数据为对象，以流通为手段，从而实现参与方各自诉求的场所，是一系列制度和技术支撑的复杂系统，数据供给、业务需求、流通模式、权利关系、价格机制、技术条件、配套设施等都是数据要素市场的构成要件。因此，数据要素市场的培育应在保障安全和隐私的前提下，本着自由流动、普惠发展的原则进行鼓励和规范，使各项工作有力支撑起数据要素价值的充分释放。 结论 推动数据要素发展，是对当今技术与产业背景的深刻把握，是抢抓数字经济时代国际竞争制高点的关键举措。发展数据要素应聚焦于数据要素价值的释放。数据要素三次价值释放规律突出了数据要素本身的作用机理，在一定程度上连接起政府、企业等组织的业务数据化、数据业务化、数据资产化具体操作与整体经济社会增长、全要素生产率提升。 关于数据要素及其价值释放的基本规律还需要持续深入挖掘和阐释，但数据要素的三次价值提示我们：数据要素发展是一项系统工程，既涉及组织内部的数据应用，又涉及全社会的普惠发展；既涉及数据资源的配置，又涉及数据对配置其他资源的作用。需要强调的是，我们今天说数据在流通中可以实现价值增值和飞跃，并不意味着我们已经完全进入第三次价值的阶段。 部分组织对数据应用的感知仍然模糊，又受限于资金、人才、技术水平不足，覆盖生产活动全流程、全产业链的数据链仍不完善，尚不具备业务数据电子化或分析决策智能化的能力。这种条件下，这类组织即使引入外部数据也无法有效利用，无法形成回馈业务发展的价值回路。因此，数据要素发展需要统筹推进，一次价值和二次价值仍需要持续释放，在更广泛实现业务贯通和数智决策的基础上，全面发挥数据流通对外赋能的价值。 来源（公众号）：三界逆熵实验室
数据是一个涉及技术、经济、法律、伦理、哲学的多学科命题，数据要素既作用于生产力，也作用于生产关系；既作用于看得见的物理世界，也作用于看不见的赛博空间；既作用于传统单一要素的价值倍增，也作用于整个生产要素的资源优化。任何对数据的本质追问和系统思考都需要勇气，它折射了一个学者对现实世界真实问题的敏感度和辨别力，也考验一个学者多学科领域研究的广度和深度，我对这个领域理论研究的开拓者表示无比的崇敬。 高富平教授就是数据问题理论研究的开拓者。高富平教授《数据经济讲义》一书，围绕数据相关的基本概念和基本问题，数据内涵、数据价值、数据经济、数据权属、数据市场、数据交易等基本命题，在理论上作了很多前沿创新探索，构建了一套自己的理论体系。认真研读后，引发了我对四个基础问题的思考。 01关于数据要素创造价值的本质 AI时代，数据驱动不仅降低了成本、提升了效率，也正在重构人类认识和改造世界的方法论。正如高富平教授在《数据经济讲义》中提出的洞见“数据革命本质上是人类社会的认知革命”。近几百年来，人类经历了几次认知范式的变革：从牛顿、爱因斯坦的“理论推理阶段”，到爱迪生在一百多年前发明电灯泡的“实验验证阶段”，再到20世纪80年代大飞机研发的“模拟择优阶段”，直至今天，以AI为代表的“大数据分析”形成了一种新的范式。 在新的认知范式下，当我们去追问数据到底是怎样创造价值的，或许我们可以先追问数字化的本质到底是什么？在我看来是两场革命：一个是工具革命，一个是决策革命。 什么叫工具革命呢？马克思曾说：“手推磨产生的是封建主的社会,蒸汽磨产生的是工业资本家的社会”，“各种经济时代的区别，不在于生产什么，而在于怎样生产，用什么劳动资料生产。”回到今天的数字时代和智能时代，我们看到：传统的机器人、机床、专业设备等传统工具正升级为3D打印、数控机床、自动吊装设备、自动分检系统等智能工具，传统能量转换工具正在向智能工具演变，大幅提高了体力劳动者效率；同时CAD、CAE、CAM等软件工具提高了脑力劳动者的效率。无论是体力劳动者，还是脑力劳动者，通过新的工具，提高了生产、研发效率。“工具革命”的核心价值在于帮助人们“正确地做事”。 什么叫决策革命呢？实践中仅“正确地做事”远远不够，更重要的是“做正确的事”。今天我们讨论数据，数据带来的是一场决策的革命——“决策革命”，帮助人们做正确的事。就像图灵奖和诺贝尔经济学奖获得者西蒙所说，管理的核心就是决策。从企业决策的角度，所谓的数字化，就是不断地把经理人对管理的、物流的、采购的、研发的规律，不断地模型化、算法化、代码化，用数据驱动构建一套新的决策体系。 正如《数据经济讲义》一书中所讲的，商业的本质体现为两种要素，即价值和效率。数据能够支持智能分析，挖掘新知，促进创新，支持经营者快速和精准知情，这是数据成为新的生产要素以及企业竞争来源的根本原因。这意味着我们应当按照经济学原理组织数据的生产、流通和使用（消费）活动，以实现数据资源社会化配置和利用。这正是本书所称的“数据经济”的核心要义。由于数据的价值在于认知，因而数据经济活动最终产出是知识或智慧行动。正因此，本书认为“数据经济的目的不是生产数据，而是生产智能产品”，并将数据经济视为“知识经济的高级进阶”。 当我们讲数据驱动决策的时候，面对一个复杂的业务场景，需要满足三个基本的核心要素： 第一，你的数据是不是实时在线的。 第二，你的数据是不是端到端的。 第三，你的数据是不是科学精准的。 只有基于这三个要素，才能真正地实现数据在正确的时间、以正确的方式、传递给正确的人和机器。 什么样的治理范式才能真正有助于实现数据在正确的时间、以正确的方式、传递给正确的人和机器？对于这一重要问题，高富平教授在《数据经济讲义》一书中，着重探寻了数据经济治理新范式，并认为数据源的开放性、数据使用价值的独特性等特征决定了我们难以清晰界定产权，无法援用传统的商品或资产市场交易模式，来实现数据资源的社会化配置。为此，高富平教授创造性地提出数据持有者权，并以持有者权利和义务配置为核心，构建了一整套数据流通机制，试图寻找替代产权交易数据经济秩序，被作者称为“治理范式经济秩序”。 02关于数据要素创造价值的模式 一直以来，数据要素创造价值并不是数据本身，数据只有与基于商业实践的算法、模型聚合在一起，才能真正地创造价值。在《数据经济讲义》中，高富平教授认为：“数据因使用而有价值，数据价值在于认知。数据不存在固有价值，而数据的价值在于使用数据，认知数据代表的客观世界（或对象）的规律。单纯数据或数据没有被使用，那么就不会产生洞察、预测或智慧行动，不会给企业带来任何效益”，并鲜明地提出要“避免直接将数据视为有价值资产或者单纯通过数据交易虚增GDP的现象”。从产业实践看，数据和算法、模型结合起来创造价值，主要有三种模式： 🔵 第一种模式：比特引导原子（价值倍增）。数据要素能够提高劳动、资本、技术等单一要素的生产效率，数据要素融入到劳动、资本、技术等每个单一要素，使得单一要素的价值产生倍增效应。 🔵 第二种模式：比特替代原子（投入替代）。数据可以激活其他要素，提高产品、商业模式的创新能力，以及个体及组织的创新活力。数据要素可以用更少的物质资源创造更多的物质财富和服务，会对传统的生产要素产生替代效应。例如移动支付会替代传统ATM机和金融机制的营业场所，波士顿咨询（BCG）估计过去10年由于互联网和移动支付的普及，中国至少减少了1万亿传统线下支付基础设施建设。 🔵 第三种模式：比特优化原子（资源优化）。数据要素不仅带来了劳动、资本、技术等单一要素的倍增效应，更重要的是提高了劳动、资本、技术、土地这些传统要素之间的资源配置效率。数据生产不了馒头，生产不了汽车，生产不了房子，但数据有助于低成本、高效率、高质量地生产馒头、汽车、房子，高效率地提供公共服务。数据要素推动传统生产要素革命性聚变与裂变，成为驱动经济持续增长的关键因素。这才是数据要素真正的价值所在。 高富平教授在《数据经济讲义》将数据经济视为“知识经济的高级进阶”，认为“数据经济是推动数字经济迭代升级的新生力量，其核心是在全社会层面高效地实现数据生产力。数据经济的目的不是生产数据，而生产智能产品”。从理论上看，只有回到生产力视角，才能更全面系统认识数据创造价值的内在机理和逻辑。 数据生产力的本质是人类重新构建一套认识和改造世界的方法论，基于“数据+算力+算法”，通过在比特的世界中构建物质世界的运行框架和体系，在比特的汪洋中重构原子的运行轨道，推动生产力的变革从局部走向全局、从初级走向高级、从单机走向系统。这一变革推动劳动者成为知识创造者，将能量转换工具升级为智能工具，将生产要素从自然资源拓展到数据要素，实现资源优化配置从单点到多点、从静态到动态、从低级到高级的跃升。总之，数据生产力正在重构整个经济运行的新体系，是经济增长的新动能，正在加速变革经济生产方式和模式。 03关于AI大模型与数据要素的关系 AI大模型开启了全新的智能时代，引发人机交互、计算范式和认知协作三场革命，正在加快形成新质生产力、增强发展新动能。高富平教授在《数据经济讲义》中不仅提出“数据革命本质上是人类社会的认知革命”，还进一步指出这改变了认知和改造世界的力量构成，过去只有人类智能这一单一力量，现在形成了两类智能相互作用的局面。 什么是认知协作革命？简单地说就是找到了从问题到答案的最短路径。具体而言，AI大模型的普及应用，传统的关键词检索将转变为自然语言人机交互新模式，这是对人类知识存储、检索和使用方式的一次重构。新的人机交互也将带来协作革命，人工智能大模型驱动的AI智能体会逐步深度嵌入各类组织的需求定义、应用开发、运维管理和资源调度等环节。 高富平教授在《数据经济讲义》中敏锐提出：“泛在网络形成大数据不仅增加对客观世界认知的深度、宽度和精度，而且各种智能系统可以挖掘数据背后规律、输出知识或智慧行动”。因此，相比传统的数字化，AI大模型引发的认知协作革命，也是对数据创造价值的一次路径升级。 从数据链路看，传统数字化的数据价值实现路径是“业务-采集-分析-决策”，而大模型时代，这一路径缩短为“输入-输出”；从执行效果看，传统数字化的数据流动路径，取决于业务和决策链条，流程型IT系统往往造成很多的数据孤岛，无法实现闭环，而大模型通过“理解-规划-执行-记忆”，能力更加全面、自成闭环；从建设成本看，传统数字化需要根据场景需求逐个定制化构建，治理周期长、成本高，而大模型时代通过“泛化能力+微调”，能够更低成本、更快速度建设数据利用能力；从业务价值看，传统数字化根据需求定制解决问题的路径和结果，价值往往比较有限，而大模型可以全面提升分析预测与决策能力，解决原有IT系统无法解决的问题，如供应链协同、ChatBI、知识库等，正在重新定义产业智能。 04关于如何促进数据要素流动 数据的价值在于流动。正如高富平教授所讲的，为了实现数据智能，不仅单个组织需要投入资源，治理数据，建设智能系统，更重要的是让每个企业或组织从外部获取足够多的数据，在满足各主体对高质量数据需求的同时，让散布于各角落的数据被高效地汇集利用，使数据的社会价值得到最大化利用。 关于数据流动的价值，我之前曾有一个观点：数字化转型的本质是什么？数字化转型的本质是，在数据+算法定义的世界中，以数据的自动流动化解复杂系统的不确定性，优化资源配置效率，构建企业新型竞争优势。数据的自动流动是指把正确的数据，在正确的时间，以正确的方式，传递给正确的人和机器。 数据的流动是一个技术问题、管理问题、经济问题，也是一个法律问题。法律问题不是我的专长，高富平作为国内知名法学家，针对数据流通过程的产权问题进行了开拓性的研究。作者创造性地提出数据持有者权并以持有者权利和义务配置为核心构建数据流通体制。在这样的设计中，持有者权只是合规管理数据资源，创制数据流通利用秩序的基础，而不是用来交易的权利；持有者只要配以流通权（提供他人使用）就足以开启数据流通，而使用者因为加工使用而成为新数据的持有者。这样，数据持有者仅凭自己合法地获取数据并创造或添附价值而享有权利，同时也能够保持数据不断地流通利用。 数据的世界纷繁复杂，如何穿越“数据认知迷雾”，需要更多高富平教授这样的探索者持续不懈的努力。 来源：中国信息化百人会执委安筱鹏博士
工业化时代很多传统企业由于洞察并把握好了工业化时代的商业逻辑，在相关行业取得了各自的优势，并建立起了稳固的护城河。但不经意间他们发现：数字化时代游戏规则即将改变了，之前牢固的护城河，随时有可能被新的跨界者颠覆。曾经越是核心优势的要素，现今已渐成沉重的枷锁。原有的经验曲线不再管用，就算在原有的轨道上将工业化时代的商业逻辑发挥到极致，也无法改变即将改变的局面。传统优势企业要想数字化时代继续领跑，需要跨越工业化时代与数字化时代之间的商业鸿沟，让企业把握契机产生突变，然后进入一个新的起点和循环。 01企业产生的根源和背景 企业是社会生产力水平发展到一定阶段的产物，它是随着商品经济的发展而发展的。人类社会的生产活动，总是程度不同的社会化劳动，不同的生产力发展水平和商品经济发达程序决定了不同的生产组织形式。 企业是一个历史的概念，是社会生产力水平提高和商品经济发展的必然产物。从手工业开始，企业经历了工业企业、资本主义企业，到如今的信息时代企业，尺寸愈来愈大、趋向数字化、全球化，企业形式不断更新，管理方式不断创新。 02工业化时代企业的生存逻辑和核心价值能力 工业化时代企业的生存逻辑和核心价值能力是基于生产能力和规模经济的。这意味着企业需要能够以最低成本生产出尽可能多的产品，并且要保持竞争力和市场份额。为此，企业需要拥有先进的技术、高效的生产流程和管理能力来降低成本和提高效率，同时还需要具备强大的销售和营销能力，以确保产品的市场需求和销售量。最重要的是，企业需要不断创新，提高产品质量和性能，以保持领先地位并应对不断变化的市场需求和竞争压力。 在企业长期活动中，会逐渐形成相对固定的企业文化、组织结构、核心资产、关键资源和流程，并且沉淀下来成为组织的基因和烙印。组织基因在工业化时代是企业核心竞争力，但当面临外部环境突变时，要想让组织基因随之变革，难度太大。例如互联网时代要求组织扁平化、高效协同，传统企业还是科层式组织管理，强调层级、分工、集权，无法支撑组织敏捷应对外部变化、不能做到让听到炮声的人呼唤炮火。工业化时代商业逻辑是拥有和整合资源，但在数字化时代的平台经济和共享经济面前则表现的力不从心。 数字时代最大的改变是“数据”成为生产要素。工业时代所关注的资源，到了数字时代有些变成了基础条件，有些重资产已经变得不再重要。因此，企业必须能够做到融合新的要素：数字技术和数据。在以客户为中心的时代，企业已无力仅动用自身的资源，来全面覆盖和响应客户多样化、个性化、体验化、便捷化的需求，甚至只能覆盖很小的一部分。新要素和新游戏规则的出现，使得产业边界、企业边界逐渐模糊。所以，企业必须聚集外部的一切可用的资源，为企业注入活力。 03数字化时代企业的生存环境和逻辑发生了根本性变化 1、企业外部环境的变化 需求在改变（人） 数字化时代，市场从产品导向转向需求和场景导向，企业看不清消费者在哪里。消费者从关注交易价值和产品价值，延伸到使用价值和场景价值；从关注个体价值到关注群体价值。消费者要求更快、更便利、更丰富、更好的体验，更高的品质，更个性化，更时尚，需要不断变化。 场景在转变（场） 消费者已不在原来的场景中，消费场景逐渐变得无处不在，对场景的参与度也越来越高。从实体场景到互联网场景，再到社交场景，然后是融合性场景，生活圈即消费商圈。 逻辑在蜕变（货） 消费者从关注物资产品和功能，到关注精神、健康产品和内容。消费者需要随意时间、随意场景和随意渠道购物，并能更快收到所购买的商品。顾得的要求是：需求准、交付快、体验好。 2、企业生存逻辑的变化 场景思维是以用户需求场景和体验场景驱动的，依据这些场景来定位用户群体，给用户群体提供什么样的数字化产品和服务，这些产品和服务通过哪些渠道触点跟用户触达和互动。通常一个企业的资源无法覆盖整个需求场景，场景涉及的人、货、场大多时候都需要跟其他企业生态协作，然后共同向用户提供体验化的闭环场景服务。 04数字化时代企业的核心价值能力 1. 连接力 在消费互联网时代，将企业和用户的互动渠道称之为“数字化触点”；在产业互联网时代，企业和用户的互动渠道称为“数字化连接”可能更恰当。物联网、云计算和大数据的发展，众多的智能设备、智能终端和可穿戴设备，通过物联网技术连接人-企业、人-人、人-智能设备、人-智能产品。 从某种意义来讲，数字化连接有几层含义：一是指企业跟客户互动和价值交换的渠道和场所，为客户提供一致的服务和体验；二是解决和员工、合作伙伴的链接；三是解决和设备与终端之间的连接；四是解决物理世界和数字世界的连接适配器，通过数字化连接体系，将物理世界的用户行为、交易、体验等场景信息映射到数字世界。 2. 数字力 数字力通常指的是数字技术和数字基础设施所带来的能力和力量，也是人们使用数字科技、数字工具以及互联网等数字化环境的能力。它具有以下几个方面的特点： 数据创造力：数据力指的是数据收集、存储、处理和分析的能力。随着计算机技术和互联网技术的飞速发展，数据收集和处理的能力不断增强，使得数据的价值和应用范围也得到极大拓展，这为数据力的进一步发挥提供了巨大的动力。 数字生产力：数字力指的是数字技术在创造和生产过程中所发挥的创新和生产力。通过数字化、自动化和智能化技术手段，数字力能够大幅提高劳动生产率，实现生产过程的高效、精准和快速化，从而提高企业和个人的竞争力。 数字流通力：数字力强调数字世界的互联互通和信息共享的能力。数字基础设施，如互联网、云计算、物联网等技术手段使得数字信息能够高速地流通、交易和共享，从而推动数字经济、数字娱乐、数字文化、数字医疗等领域的发展。 数字控制力：数字力的另一个重要特征就是数字控制力。数字技术和算法的发展，让数字力成为各种行业和领域决策的重要参考和支持。 3. 增长力 增长力强调了利用数据和分析来推动企业在市场上的增长能力，它具有以下几个方面的意义： 数据分析带来的洞见：通过数据分析，企业能够更好地了解市场和消费者需求，为其提供更好的产品和服务。这样，数据分析将成为企业获得竞争优势的重要手段。 数据支持判断和决策：数据分析不仅可以更好地了解市场和客户，也可以了解企业在市场中的表现。可以帮助企业进行判断和决策，从而提高其增长能力。 数据驱动的创新：数据分析可以帮助企业发现新市场或领域，从而更好地开发新产品或提供新服务。同时，数据分析也可以帮助企业进行产品或服务的改进和优化。 数据的实时性：借助实时数据分析，企业可以更好地迎接市场变化，快速响应市场波动，从而保持其竞争优势和增长能力。 05结语 将企业的核心能力提炼成“企业价值能力”比“企业业务能力”更加合适。企业的成功不仅仅在于其业务能力，还取决于其创造的价值和对社会的贡献程度。所谓“企业价值能力”是指企业强调的是持续的经济、社会和环境价值创造能力。数字化时代，企业的价值能力可以由企业业务能力和企业数字能力组成。 企业业务能力包括企业的基础业务能力和核心业务能力，是支持企业运营的基本能力，包括生产、供应链、人力资源管理等业务能力。 企业数字能力是指企业基于数字化技术和平台所形成的运作方式和能力，包括数字化生产、数字化经营、数字化营销等各个方面。在数字化时代，由于数字技术的广泛应用，企业数字能力的提高在企业的价值创造过程中显得更加重要。数字化时代企业的生存逻辑和核心价值能力更加强调数字技术和数据驱动的创新能力、业务转型和个性化服务能力。数字化时代的企业需要通过数字技术去发掘商业模式与细分领域，加强数据驱动创新、开拓新的流量池和服务市场。 来源（公众号）： 三界逆熵实验室
八大举措，力促数据产业高质量发展。
《数字中国建设整体布局规划》（以下简称《规划》）的发布，标志着中国在迈向数字化新时代过程中，进一步明确了数字中国建设的战略方针和实践路径。从目标上看，计划分阶段推进，明确了到2025年和2035年两个关键节点的阶段性成果，力求在数字基础设施、数字经济、数字政务、数字文化等方面取得重要突破，为实现数字中国的战略目标奠定基础。
实时计算初期 虽然实时计算在最近几年才火起来，但是在早期也有不少公司有实时计算的需求，但数据量不成规模，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下： 如上图所示，拿到数据源后，会经过数据清洗，扩维，通过Flink进行业务逻辑处理，最后直接进行业务输出。把这个环节拆开来看，数据源端会重复引用相同的数据源，后面进行清洗、过滤、扩维等操作，都要重复做一遍，唯一不同的是业务的代码逻辑是不一样的。 随着产品和业务人员对实时数据需求的不断增多，这种开发模式出现的问题越来越多： 1.数据指标越来越多，“烟囱式”的开发导致代码耦合问题严重。 2.需求越来越多，有的需要明细数据，有的需要 OLAP 分析。单一的开发模式难以应付多种需求。 3.每个需求都要申请资源，导致资源成本急速膨胀，资源不能集约有效利用。 4.缺少完善的监控系统，无法在对业务产生影响之前发现并修复问题。 大家看实时数仓的发展和出现的问题，和离线数仓非常类似，后期数据量大了之后产生了各种问题，离线数仓当时是怎么解决的？离线数仓通过分层架构使数据解耦，多个业务可以共用数据，实时数仓是否也可以用分层架构呢？当然是可以的，但是细节上和离线的分层还是有一些不同，稍后会讲到。 实时数仓建设 从方法论来讲，实时和离线是非常相似的，离线数仓早期的时候也是具体问题具体分析，当数据规模涨到一定量的时候才会考虑如何治理。分层是一种非常有效的数据治理方式，所以在实时数仓如何进行管理的问题上，首先考虑的也是分层的处理逻辑。 实时数仓的架构如下图： 从上图中我们具体分析下每层的作用： 数据源：在数据源的层面，离线和实时在数据源是一致的，主要分为日志类和业务类，日志类又包括用户日志，埋点日志以及服务器日志等。 实时明细层：在明细层，为了解决重复建设的问题，要进行统一构建，利用离线数仓的模式，建设统一的基础明细数据层，按照主题进行管理，明细层的目的是给下游提供直接可用的数据，因此要对基础层进行统一的加工，比如清洗、过滤、扩维等。 汇总层：汇总层通过Flink的简洁算子直接可以算出结果，并且形成汇总指标池，所有的指标都统一在汇总层加工，所有人按照统一的规范管理建设，形成可复用的汇总结果。 我们可以看出，实时数仓和离线数仓的分层非常类似，比如 数据源层，明细层，汇总层，乃至应用层，他们命名的模式可能都是一样的。但仔细比较不难发现，两者有很多区别： 1.与离线数仓相比，实时数仓的层次更少一些： 从目前建设离线数仓的经验来看，数仓的数据明细层内容会非常丰富，处理明细数据外一般还会包含轻度汇总层的概念，另外离线数仓中应用层数据在数仓内部，但实时数仓中，app 应用层数据已经落入应用系统的存储介质中，可以把该层与数仓的表分离。 2.应用层少建设的好处： 实时处理数据的时候，每建一个层次，数据必然会产生一定的延迟。 3.汇总层少建的好处： 在汇总统计的时候，往往为了容忍一部分数据的延迟，可能会人为的制造一些延迟来保证数据的准确。举例，在统计跨天相关的订单事件中的数据时，可能会等到 00:00:05 或者 00:00:10 再统计，确保 00:00 前的数据已经全部接受到位了，再进行统计。所以，汇总层的层次太多的话，就会更大的加重人为造成的数据延迟。 4.与离线数仓相比，实时数仓的数据源存储不同： 在建设离线数仓的时候，基本整个离线数仓都是建立在 Hive 表之上。但是，在建设实时数仓的时候，同一份表，会使用不同的方式进行存储。比如常见的情况下，明细数据或者汇总数据都会存在 Kafka 里面，但是像城市、渠道等维度信息需要借助 Hbase，MySQL 或者其他 KV 存储等数据库来进行存储。 Lambda架构的实时数仓 下图是基于 Flink 和 Kafka 的 Lambda 架构的具体实践，上层是实时计算，下层是离线计算，横向是按计算引擎来分，纵向是按实时数仓来区分： Lambda架构是比较经典的架构，以前实时的场景不是很多，以离线为主，当附加了实时场景后，由于离线和实时的时效性不同，导致技术生态是不一样的。Lambda架构相当于附加了一条实时生产链路，在应用层面进行一个整合，双路生产，各自独立。这在业务应用中也是顺理成章采用的一种方式。 双路生产会存在一些问题，比如加工逻辑double，开发运维也会double，资源同样会变成两个资源链路。因为存在以上问题，所以又演进了一个Kappa架构。 Kappa架构的实时数仓 Kappa架构相当于去掉了离线计算部分的Lambda架构，具体如下图所示： Kappa架构从架构设计来讲比较简单，生产统一，一套逻辑同时生产离线和实时。但是在实际应用场景有比较大的局限性，因为实时数据的同一份表，会使用不同的方式进行存储，这就导致关联时需要跨数据源，操作数据有很大局限性，所以在业内直接用Kappa架构生产落地的案例不多见，且场景比较单一。 关于 Kappa 架构，熟悉实时数仓生产的同学，可能会有一个疑问。因为我们经常会面临业务变更，所以很多业务逻辑是需要去迭代的。之前产出的一些数据，如果口径变更了，就需要重算，甚至重刷历史数据。对于实时数仓来说，怎么去解决数据重算问题？ Kappa 架构在这一块的思路是：首先要准备好一个能够存储历史数据的消息队列，比如 Kafka，并且这个消息队列是可以支持你从某个历史的节点重新开始消费的。接着需要新起一个任务，从原来比较早的一个时间节点去消费 Kafka 上的数据，然后当这个新的任务运行的进度已经能够和现在的正在跑的任务齐平的时候，你就可以把现在任务的下游切换到新的任务上面，旧的任务就可以停掉，并且原来产出的结果表也可以被删掉。 流批结合的实时数仓 随着实时 OLAP 技术的发展，目前开源的OLAP引擎在性能，易用等方面有了很大的提升，如Doris、Presto等，加上数据湖技术的迅速发展，使得流批结合的方式变得简单。 如下图是流批结合的实时数仓： 数据从日志统一采集到消息队列，再到实时数仓，作为基础数据流的建设是统一的。之后对于日志类实时特征，实时大屏类应用走实时流计算。对于Binlog类业务分析走实时OLAP批处理。 我们看到流批结合的方式与上面几种架构使用的组件发生了变化，多了数据湖 Iceberg 和 OLAP 引擎 Presto。Iceberg是介于上层计算引擎和底层存储格式之间的一个中间层，我们可以把它定义成一种“数据组织格式”，底层存储还是HDFS，Iceberg的ACID能力可以简化整个流水线的设计，降低整个流水线的延迟，并且所具有的修改、删除能力能够有效地降低开销，提升效率。Iceberg可以有效支持批处理的高吞吐数据扫描和流计算按分区粒度并发实时处理。OLAP查询引擎使用Presto，Presto是一个分布式的采用MPP架构的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。擅长对海量数据进行复杂的分析。 来源（公众号）：五分钟学大数据
《征求意见稿》的发布，标志着国家对数据基础设施建设的重视进入了新阶段，明确了数据基础设施在数字中国建设中的关键作用。本文将从重点内容、新看点和潜在影响三个方面对该指引进行解读。
本文将从什么是数据架构、数据架构的发展历程、流行的企业架构框架、数据管理系统及数据架构的类型等方面来阐释数据架构的优势和重要性。
