AI协作时代的到来，已经不是趋势，而是现实。

为什么大厂的模型就是比创业公司强？ 不是因为他们的算法有多高明，而是因为他们有数据。

文 | 复旦大学上海数学中心 李骏 王天栋 《全国数据资源调查报告（2024年）》显示，我国数据资源规模优势持续扩大，数据资源开发利用活跃度稳步提升，各类主体加快人工智能布局投入，数据要素市场化、价值化进程进一步提速。在数字经济快速发展和数据要素价值日益凸显的背景下，数据要素的生产、存储、计算、流通和应用等各个环节对经济社会发展的乘数效应进一步释放。海量数据资源与人工智能等新一代信息技术深度融合，应用于丰富的现实场景，能够显著地改善传统要素的配置效率，并激发市场活力与社会创新、增强经济发展的韧性与可持续性，为经济增长提供新动能、为国家竞争创造新优势。 01 数据要素多环节协同，驱动经济效率提升 《全国数据资源调查报告（2024年）》显示，2024年全国数据生产量达41.06泽字节（ZB），同比增长25%；数据存储总量为2.09泽字节（ZB），同比增长20.81%，存储空间利用率61%。数据生产规模的跃升与存储总量的稳步增长，直观展现出数据要素两大基础环节的蓬勃发展态势。数据要素作为数字经济关键生产要素，其价值释放依赖生产、存储、流通三大环节的动态耦合，各环节不仅独立赋能地区经济，更通过协同效应重塑经济增长动力与传导路径。 复旦大学上海数学中心李骏院士团队基于省级面板数据构建的统计模型量化了省际数据流通对经济增长的贡献率。针对2023-2024年度地区GDP变化特征，研究通过多元回归与结构方程模型等方法实现实证分析重要突破：一方面，运用回归模型量化省际数据流通对经济增长的贡献率，揭示数据要素流动对区域经济的拉动作用；另一方面，通过构建结构方程模型，深入剖析数据要素各环节与地区GDP之间的直接效应、间接效应及其传导路径，全面阐释数据生产、存储、流通等环节间的协同作用机制与复杂交互关系（如图1）。 研究表明，数据生产、存储及交互量均对地区GDP增长有显著正向驱动作用，其中数据交互（流通）环节的促进作用最为突出。结构方程模型显示，数据交互量是数字经济的核心枢纽，既承接数据生产与存储的成果，又推动区域经济发展。 （一）数据生产环节 数据生产是要素价值链的起点，其核心在于将原始信息转化为可用的数据资产。数据资源是数字经济时代的“新石油”。2024年全国数据生产总量的大幅增长，催生数据采集、生成与加工等新兴经济活动，拉动GDP增长；通过两大路径间接赋能经济，一方面生产环节积累的大规模、多样化数据可被上下游产业复用，促进算法优化与模型迭代，数据生产环节通过与其他要素协同，还可以形成复用增效与融合创新的乘数效应，加速新技术、新模式、新业态的产生，并溢出至制造业、农业、服务业等领域为区域经济注入持续创新动能。另一方面，企业通过生产数据实时分析优化运营流程，将传统经验决策升级为数据驱动决策，也可以降低试错成本与资源错配，实现决策和价值创造的优化。 （二）数据存储环节 根据《全国数据资源调查报告（2024年）》，全国数据存储总量呈增长趋势，印证了数据存储环节日益提升的经济影响力。数据存储作为数字经济的重要基石，其基础设施建设与运营深度嵌入传统经济指标。从土地租赁、设备采购到能源消耗，大规模数据中心、云平台的建设运营，不仅直接拉动上下游设备制造、能源、建筑等产业投资，形成显著的固定资产投资效应，更将分散的数据资源转化为可管理的数据资产，催生出存储服务、云计算等增值业务。同时，集中存储与云端托管降低了数据冗余与管理成本，使中小微企业能够以低成本获取存储服务，从而释放更多资金用于研发与市场开拓。而通过统一的存储标准与安全体系建设，也可以提高全社会数据资产的信任度与可用性，进而提升跨行业、跨区域的数据共享意愿，促进数据要素的广泛流动。 （三）数据流通环节 在流通环节，数据作为可交易商品，通过数据交易平台或市场完成定价与流转，直接产生交易规模与服务费收入，纳入第三产业统计范围，拉动服务业增值。数据流通还可以将数据产品推向更多应用场景，形成市场规模效应，进一步带动数据分析、咨询、应用开发等新的服务需求，增加地区服务业产出。随着流通规模扩大，参与主体增多，数据流通效率得到提升，不同数据集间的组合创新得到激发，可以形成正向循环，间接放大数据对产业结构升级的推动作用。 （四）各环节的协同作用与交互关系 数据的生产、存储及流通均对地区经济增长有显著的正向驱动作用，而各个环节的协同与交互将对经济增长产生倍增效应。数据的交互和流通环节是数字经济的核心枢纽，既承接数据生产与存储的成果，又推动区域经济发展。数据交互量的提升可优化要素配置、提高生产效率，进而增加存储需求，推动存储技术创新。同时，各环节之间形成了“流通促生产-生产带存储-存储助流通”的正向循环，数据流通的市场定价反馈指导了生产方向，而生产环节的实时数据采集可以倒逼存储技术升级，存储技术的进步和成本的下降又可以进一步促进交易规模扩大。数据要素三环节的协同作用可以产生指数级的收益，并共同提升经济的抗冲击性，通过持续释放数据要素活力驱动经济效率的提升。随着全国数据资源规模的持续扩容，三大环节间的协同效应将愈发显著，成为推动经济高质量发展的关键引擎。 2 数据要素价值凸显，拉动区域经济增长 在数字化浪潮中，省际数据流通已成为区域经济增长的新动力。作为新型生产要素，数据构建起了区域经济发展的新范式，它通过打破地理边界和重构资源配置规则突破了传统增长模式的物理约束与结构桎梏，实现更加高效的流动同时驱动着产业的协同与创新的扩散，推动了区域经济的稳步增长与经济结构的优化。 （一）突破地理疆界，重构经济空间形态 数据要素的跨域流动改变了“区位决定论”的旧有逻辑。传统经济活动中，地理距离构成了要素流动的天然壁垒，但省际的数据流通可以使不同省域间的经济主体能够在同一“数字大市场”中互动，降低了跨省交易成本与信息搜寻成本，有效地推动了数据要素在更大范围内自由流动，增强了全国一体化市场的深度和广度。同时，信息的不对称往往会加剧区域间的发展不平衡，而省际数据流通通过虚拟空间的零边际成本传输使偏远地区无需物理迁移即可接入发达区域的技术网络与市场体系。这不仅可以将发达地区的产业经验、技术标准及时传递至欠发达地区，促进产业要素逆向扩散和全国的数字化转型，还可以以数据连接消解地理区位的劣势，使每个区域形成基于数据禀赋的特色竞争优势，推动区域经济从非均衡集聚转向分布式协同。利用数据要素的流通，构建跨地理空间的价值交换通道，有助于改变区域分工的地理约束，推动经济空间从“梯度差异”向“网络节点”转型。 （二）消融产业边界，加速区域创新扩散 数据要素的通用性特征，使其成为贯通不同产业的“超级连接器”。在数据流动支持下，金融、物流、能源、制造等传统行业能够与数字产业深度融合，建立“数据+实体”融合发展的新模式，形成以数据为纽带的产业共同体，提高各要素的边际产出率，推动产业链整体价值提升。产业链从垂直整合转向网状互联，还可以创造“1+1>2”的复合价值，推动单一产业数据在跨域流通中发挥出指数级增值效应，使区域经济竞争力日益取决于产业数据的整合能力而非单一产业规模。此外，省际范围的数据集聚与共享能够产生强大的网络效应，数据量越大、数据类型越丰富，对于算法优化和模型训练等的支持就越充分，反过来又可以吸引更多主体参与数据交换，形成良性循环，最终带来产业创新能力倍增。当省域形成数据驱动的创新集群，其技术与经验也能够经由省际数据通道快速外溢至邻近及周边地区，加速产业升级与新兴业态扩散，从而提升整个区域的技术溢出效应与增长潜力。 （三）增强经济韧性，构建抗风险体系 数据要素的跨域配置为区域提供了多元化的需求与供应来源，赋予了区域经济更强的系统弹性。在供给冲击场景中，省际数据流通使产业链关键节点状态实时可视，企业可快速切换备用供应商或调整生产计划；在需求波动情境下，消费数据的跨区域分析助力精准预测市场趋势，避免产能过剩与资源错配。此外，当某一区域遭遇外部冲击时，其经济功能可通过数据迁移由其他节点承接，形成“去中心化”的风险缓冲机制。这种抗风险能力的本质提升，增强了区域经济发展的韧性与可持续性。 03 数据要素驱动经济增长的未来图景 数据要素在推动经济增长中的核心地位日益凸显，但数据要素的价值释放仍面临着如技术层面瓶颈制约要素市场化进程、市场生态呈现区域割裂与规则互斥等一些约束，需要从制度、技术与市场三方面采取综合举措，以系统性思维破解发展桎梏，进一步发挥数据要素效能，助力实现更高质量、更可持续的增长。 展望未来，数据要素将在制度创新与技术突破的双轮驱动下，逐步完成从“资源”到“资产”再到“资本”的价值跃迁，成为可核算、可交易的新型生产要素，推动增长逻辑从“要素堆积”转向“智能协同”，空间形态从“地理约束”升级为“数实融合”，促进算法与算力驱动的全要素生产率质变，形成跨域联动的“数字经济体”。在数据要素的驱动下，经济发展也将在规模持续扩张的同时实现复杂性提升、韧性增强与福祉普惠的均衡发展，为人类社会的可持续发展开辟新路径。 来源（公众号）：北京数据

大数据技术正迎来前所未有的发展机遇，作为国家战略，我国高度重视其发展与应用。本文梳理了国内外大数据管理、处理、分析和治理技术的发展现状，研判了与国际先进水平的差距，并指出了大数据技术在计算体系重构背景下的四大挑战。随着数据量呈指数级增长，如何构建以数据为中心的计算体系、满足高效处理需求、实现多源异构数据的可解释性分析等成为关键挑战，预示着大数据技术的十大发展趋势。

做了这么多年的数据集成，我最大的感悟就是：技术只是工具，业务需求才是根本。 不要为了技术而技术，不要为了炫技而炫技。 每一种数据集成方案都要从业务场景出发，问自己三个问题： 这个数据业务方真的需要吗？ 多快的更新频率能满足需求？ 投入产出比是否合理？

加快审计系统建设，实现数据贯通与共享，构建企业级审计平台。强化大数据审计组织机制与数据认责，确保审计全覆盖。培养数字化审计人才，提升数据分析能力。持续推进数据质量提升，加强数据治理能力，确保数据标准化与准确性。大数据审计助力审计团队转型升级，提高审计效率与效果。

数据治理为何难以推进？关键在于与业务脱节。本文从具体业务问题出发，分析数据治理失败的原因，并提出结合业务的数据治理策略。明确治理目标，量化投入产出，确保治理工作具备经济效益和可持续性。

文 | 中国科学院大学经济与管理学院教授 孙毅 近期，《全国数据资源调查报告（2024年）》（以下简称《报告》）正式发布。《报告》在2023年度数据规模、开发利用和应用情况等指标基础上，新增人工智能（AI）、大模型等热点领域调查指标，并对数据资源地区、行业分布情况做了分析测算。《报告》数据显示，2024年我国数据资源规模优势持续扩大，数据资源开发利用活跃度稳步提升，各类主体加快人工智能布局投入，数据要素市场化、价值化进程提速。 2024年3月，《政府工作报告》首次提出开展“人工智能+”行动。《“数据要素×”三年行动计划（2024—2026年）》、《可信数据空间发展行动计划（2024—2028年）》、《关于促进数据产业高质量发展的指导意见》等涵盖场景应用、产业发展的一系列政策陆续颁布，加快公共数据资源开发利用“1+3”政策体系初步形成。在一揽子促进数据资源开发利用和数据要素市场高质量发展的政策引领下，《报告》调查结果呈现出以下几个突出特点: 一是数据资源开发利用水平有效提升，结构化数据增幅成为亮点。《报告》显示，约66%的行业龙头企业和30%的数据技术企业购买过数据；高质量数据集数量同比增长27.4%；结构化数据同比增长36%，占存储总量比重为18.70%，大幅超过非结构化数据存储增速。这三组数据对照来看，2024年数据资源开发利用程度明显提高，数据开发利用、高质量数据集建设等工作成效显著。 二是“人工智能+”行动有序推进，数算一体化发展特征明显。人工智能与数据资源开发利用互相促进，“人工智能+”行动有效推动了人工智能和数据资源开发利用的双向反馈，数算一体化协同的格局逐步建立。《报告》显示，智能家居、智能网联汽车、无人机等“人工智能+”行动的重点领域智能设备数据增速位居前列；全国智能算力规模达90 EFLOPS，在算力总规模中占比提升至32%，为海量数据计算提供智能底座；开发或应用人工智能的企业数量同比增长36%，有力支撑人工智能训练和应用；利用大模型的数据技术企业同比增长57.21%，数据应用企业同比增长37.14%。 三是公共数据授权运营成效显著，民生保障领域数据应用提速。一方面，公共数据授权运营探索步伐加快。国家公共数据资源开发利用“1+3”政策文件发布后，超六成省（自治区、直辖市）、计划单列市启动授权运营工作，公共数据授权运营逐步规范化、有序化。其中，市级政府部门公共数据授权运营数据量为省级政府部门的2.53倍，公共数据资源供给不断扩大。另一方面，公共数据服务场景日益丰富。公共数据服务产品数量同比增长超过40%，交通、医疗等涉及公共服务与民生保障的应用领域发展迅速。 四是实数融合步伐加快，制造业数据生产量位居首位。《报告》显示，随着我国数字化、网络化、智能化进程加速，制造、金融、交通物流行业数据生产总量领先其他行业，金融、采矿、交通物流行业企业平均数据生产量位居前三。交通物流、电力行业数据资源开发利用活跃度远高于全国平均水平，分别为78.24%、75.83%。上述行业中，除金融行业由于前期数据资源开发利用水平较高、数字化投入较高，因此排名靠前之外，制造、交通物流、采矿、电力等均属于实体经济，以数据协同实体经济与数字经济深度融合，推动高端化、智能化、绿色化发展趋势显著。 总体而言，《报告》充分体现了2024年我国数字经济发展和数据要素市场化、价值化工作进展和工作成效，能够有效摸清数据资源底数，厘清数据产业发展的现状、问题和趋势，加快数据资源开发利用，释放数据要素价值，为做大做强数字经济、建设数字中国奠定坚实基础。 来源（公众号）：北京数据

能量守恒与价值交换，是世界运行的不变基石，也是商业活动的本质内核，任何“所得”都必须支付等价的“代价”。然而，在数字化浪潮的巅峰，数据正以前所未有的力量，重构这一底层逻辑的实现方式——从模糊走向精准，从孤立走向协同。 一、价值交换：人类社会的底层运行逻辑 要理解“商业的本质是价值在交换这一动态过程中被创造与实现”，可借助“天、地、人”三才共生的宏观视角。人类一切商业与社会活动，并非孤立存在，而是深深根植于这一宏大的系统互动之中。 农业文明是这一原理最本真的体现。在此模式下，劳动者（人）通过观察天时、勘测地利，将自身的体能与智慧（劳动）注入土地，最终将自然之力与人类劳作共同转化为农作物。这是一个经典的价值交换过程：人付出能量，从自然系统中获取回报。 步入工业时代，这一价值交换的范式并未改变，但其实现的复杂性与协作的规模发生了质的飞跃。企业通过向上游采购原材料与半成品，完成了与供应链的价值交换；在内部，通过人机协同作业，将原料转化为更高价值的产品，再经由销售进入下游，开启新一轮价值循环。在每一个环节，价值都通过交换实现流转与增值。 数据被确立为第五大生产要素，这标志着价值创造、衡量和分配的规则正被系统性重构，其本质，是以数据为核心，重塑企业在产业链中的价值地位。 二、重构认知：从“盲人摸象”到“上帝视角” 纵观农业时代至工业时代，一切价值创造与交换皆以人的知识、技能与经验为载体，并外化为工具与生产资料。 然而，这些经验与智慧往往分散于个体或小范围群体中，呈现碎片化状态。尽管部分知识物化于复杂产品或系统中，但整体仍受限于组织、时空与认知的边界——产业壁垒、企业壁垒、个体局限与地域差异，均构成天然约束。 因此，传统商业活动高度依赖特定组织与个人的能力。这种“经验驱动”模式虽能实现深度专业化，却因其孤岛式、高成本、慢迭代的特性，严重制约了价值创造的效率与规模。 市场调研：样本小、周期长、成本高，洞察滞后且易带偏见。 产品研发：脱离真实需求，试错成本高昂，创新保守且迭代缓慢。 供应链与生产：基于历史预测，导致库存积压与缺货并存，柔性差、响应慢。 营销销售：目标模糊、效果难量化，严重依赖渠道与个人能力。 用户服务：被动响应、体验割裂，难以沉淀忠诚度与增值价值。 数据驱动则从根本上改变了这一范式。它将分散的个人经验与组织智慧，沉淀为可聚合、可流通、可演化的数字资产，最终形成一个持续自我优化的“智慧中枢”。这意味着认知模式从“盲人摸象”的局部感知，升维为“上帝视角”的全局洞察——它既是凝聚群体智能的载体，也是驱动商业共识的新引擎。 三、重构模式：从“模糊博弈”到“精准共生” 价值交换是人类社会的底层运行逻辑”是为大道，揭示了世界运行中不变的基石；而“所有的生意都值得用数据重构一遍”则是术用，指明了数字化浪潮滚滚向前中，践行此道的必然选择。 1. 精准交换：从“盲目猜测”到“精准洞察” 传统模式：信息不透明导致价值交换充满不确定性。企业难以精准定位用户需求，用户也难以找到完全匹配的产品，造成巨大的资源浪费与机会错失。 数据重构后：数据消除了市场迷雾。企业能通过用户行为分析，精准洞察个体乃至群体的潜在需求，实现“按需定制”的精准价值创造，极大提升了交换的成功率与效率。 2. 无限交换：从“物理局限”到“生态协同” 传统模式：价值交换的规模与半径受制于物理位置、渠道覆盖和人力成本，其增长存在明显天花板。 数据重构后：数据流与互联网打破了时空边界。企业可通过数字平台，近乎零成本地将产品与服务瞬间触达全球市场的潜在用户，价值交换的生态效应被无限放大，催生过去无法想象的商业模式与市场容量。 3. 共生交换：从“零和博弈”到“利益共同体” 传统模式：一次性的交易往往是合作的终点。各方利益难以协同，常陷入短期博弈，无法激励长期的价值共创。 数据重构后：数据构建了可量化、可审计的价值协作系统。基于“效果分润”等机制，生态各方结为利益共享、风险共担的命运共同体，形成了“价值共创→效果追踪→按效分配→持续优化”的增长飞轮，驱动整个生态持续繁荣。 四、 重构路径：从“以产定销”到“数据驱动” 一切商业活动始终围绕人的需求展开。传统“以产定销”模式依赖经验预测，经多层分销触达用户，导致链条冗长、响应迟钝且与市场脱节。 进入数字化下半场，企业竞争正从内部资源的比拼，升维为全域生态的协同。未来的核心竞争力，在于拥有连接与赋能生态的数字能力资产。 而今，数据正在重构这一流程。D2M（Data-driven to Manufacturer，数据驱动制造）模式应运而生。 D2M是一种以数据贯穿全价值链的协同范式。它通过实时洞察需求，逆向驱动研发、生产与供应链，实现从“预测式生产”到 “需求驱动式创造” 的根本转变。在此模式下，数据作为核心枢纽，重新配置业务流与决策流，形成“需求-研发-交付-反馈”的闭环。 更重要的是，D2M远不止于生产环节的升级，也不只是对面向用户的终端消费环节的重构，而是对产业纵横价值链的系统性重构，使企业竞争从内部资源比拼，升维为连接与赋能生态的数字能力。 从演进路径看，C2M还只是起点，D2M是目标，而未来很长一段时间的常态将是D2C2M——从数据预测到研发、生产、营销、服务，再到完善消费者全域画像，形成一个无始无终、无先无后的生态闭环。 五、结语：迈向数据驱动的新商业生态 数字化浪潮中，商业的本质正回归价值交换，并被数据重新赋能。这不仅是技术升级，更是认知、模式与生态的系统重构。 从农业时代的“天人协作”到工业时代的“规模效率”，商业始终遵循价值交换的法则，却也长期受困于经验的局限、链条的冗长与协同的壁垒。如今，数据正在打破这些束缚：推动价值交换从模糊走向精准，从有限走向无限，从零和竞争走向生态共赢。 因此，“所有生意都值得用数据重构一遍”不是一句口号，而是必然的进化方向——以数据贯通全链路，构建一个更高效、透明、共生的新商业生态。 来源（公众号）：三界逆熵实验室

围绕人工智能 (AI)和大模型语言模型 (LLM)的最初热潮已开始成熟。尽管基础的 LLM 本身正在迅速商品化，并通过API 和开源版本日益普及，但人工智能创新的步伐却远未放缓。相反，该行业的重点已急剧转向构建复杂的数据和人工智能解决方案，以提供可观的投资回报率 (ROI) 和切实的商业价值，并从单纯的实验转向战略实施。 企业最有防御力的竞争“护城河”在于其专有数据资产。 然而，这种战略优势在很大程度上取决于数据是否具有明显的高质量、可靠的一致性、丰富的上下文和严格的安全性。 数据固有的动态性意味着信息永远不会静止。随着数据流经复杂的工作流程，从源系统经过各种转换最终到达下游目标，这些关键数据管道的完整性和功能性可能会在其整个生命周期内反复显著下降。这种恶化通常源于多种因素，包括意外的上游数据模式变更、新字段的引入或底层业务逻辑的修改。至关重要的是，持续稳健地跟踪和管理这些变化，能够提供对数据整个沿袭和演变的深刻洞察。这种在单个数据管道和数据集层面保持的整体理解，对于确保持续的可靠性、实现有效的故障排除以及培养对下游分析产品的坚定信任至关重要。 本文探讨了全面的数据质量和可靠性框架应包含哪些内容，以及它如何使组织能够成功地进行分析。该框架强调了为什么如果不能及时全面地解决数据质量问题，数据和人工智能解决方案将无法满足企业的要求。 一 全面的数据质量和可靠性框架 数据质量是数据驱动决策成功的基石，因为决策结果的好坏取决于其所基于的数据。因此，确保数据的准确性、完整性、一致性、相关性、及时性和可访问性至关重要。全面的数据质量能够确保组织信任其使用的数据，从而做出更可靠、更有影响力的业务决策。 除了建立信任和可信度之外，有效的数据质量还能减少代价高昂的错误、错误的预测以及其他运营效率低下的问题。干净可靠的数据可以最大限度地减少返工，降低风险，并节省资源。 保持数据质量对于满足各行各业日益严格的监管标准和合规性要求至关重要。干净可靠的数据有助于避免法律处罚，并保护组织免受监管违规行为的侵害。 高质量的数据是探索新机遇、优化流程和推动创新的基础。正确捕捉和利用客户的偏好、行为和互动，还能提升客户满意度，从而提高客户忠诚度和客户粘性。换句话说，数据质量不仅仅是一项技术要求，更是业务的必要条件，是成功企业与失败企业之间真正的差异化因素。 但是数据团队能否确保他们充分处理数据质量和可靠性的各个方面？这需要一个如图1所示的综合框架。 图 1：结构化、全面的数据质量方法将带来可靠、可信的数据 这种集成方法利用元数据来确保用户能够获得实时、可信的洞察。一些供应商提供专注于特定领域的功能，但大多数企业寻求一套集成且全面的功能来全面管理端到端数据管道。这种方法统一了整个组织的数据管理实践，确保了一致性、准确性和可靠性。通过公开不同来源和系统的数据质量，可以建立统一的数据质量标准、策略和流程。当数据源分散在内部和外部时，孤立的团队往往会加剧数据质量问题。集成方法可以打破数据孤岛，鼓励各部门（例如 IT、数据管理、市场营销、财务）共同承担数据质量责任，从而促进跨部门协作。让我们检查一下每一层。 1.数据发现 数据发现是交付可靠数据和 AI 产品的首要基础要素，因为它能够全面概述所有可用的数据资产，包括其来源、格式、质量和关系。通过了解完整的数据格局，组织可以识别最符合其需求的数据，确保在数据和 AI 计划中仅使用准确、可靠和高质量的数据。了解现有数据及其当前状态有助于避免使用过时、不相关或错误的数据，从而避免损害数据和 AI 产品的质量。 随着组织越来越依赖数据来推动业务决策，发现、理解和有效利用数据的能力变得更加先进和重要。 数据发现曾经只是一个简单的数据源定位任务，如今已扩展为一个复杂的过程，它利用大型语言模型的强大功能来发现那些可能并不明显的关系。这些隐藏的模式和洞察有助于评估数据是否符合预期用途，并为后续的数据分析、编目、数据质量和可观察性步骤奠定基础。传统上，数据发现层连接结构化和非结构化数据源以及业务应用程序，以创建技术或操作元数据。在现代人工智能世界中，合成数据也应纳入数据发现的范围，因为这些人工生成的数据模仿了真实世界数据的特征，同时不会泄露任何实际用户信息或消除任何偏见。在许多情况下，真实世界的数据是不完整的，缺少构建稳健分析模型所需的关键记录或特征。合成数据可以通过创建代表性数据点来填补这些空白，确保数据集完整并可有效地用于分析或机器学习。 数据发现工具应该能够使用优化的原生连接器或开放标准（例如 ODBC/JDBC）以及 API（包括 RESTful 服务、SOAP 和 GraphQL）连接到数据源。原生连接器旨在始终满足高吞吐量、性能、安全性和可靠性需求，从而提高数据发现工作的效率。通常，连接器有助于实时提取数据源中新建或更新数据的元数据。这通过变更数据捕获 (CDC) 功能实现。 2.数据剖析 组织数据通常杂乱无章，存在诸多问题，例如质量问题（例如缺失值、重复数据、不一致数据）、缺乏理解以及跨不同数据源的集成挑战。因此，需要发现隐藏的关系并识别数据随时间的变化。这种透明度有助于优化数据处理工作流程，提高分析的可靠性，并有助于满足合规性要求。换句话说，如果没有这种清晰度，组织就有可能基于有缺陷的数据做出决策，从而导致效率低下和潜在的合规风险。 通过分析，组织可以清晰地了解其数据格局，确保数据准确、相关且易于理解。它可以帮助数据团队了解数据的特征，例如唯一性、基数、值范围和敏感度，从而丰富他们对所发现数据的认知。它涉及收集统计数据、元数据和其他数据信息，这些信息随后可用于数据管理、数据质量保证、法规遵从性和分析计划。 数据分析使用一套复杂的算法来评估各个维度的数据上下文和质量。此过程通常是自动化的，但应该根据组织的特定需求进行定制。这些需求可能涉及通过识别列之间的依赖关系和关系来合并来自不同来源的数据，或识别不必要的重复信息或高度相关的列，以优化数据并提高存储效率。其他需求可能涉及数据准备、异常检测、数据迁移、业务规则管理或降低因数据质量低下而导致的风险。 对源数据进行分析可能需要大量计算，并且可能会降低操作系统的运行速度。为了最大限度地降低源系统的负载，可以对用户定义的数据样本进行分析。另一种选择是使用 Apache Spark 等工具将数据提取到外部集群中。每种方案都有其自身的利弊，企业应该选择最符合自身需求的方案。 数据分析可以按需运行，也可以安排在特定时间间隔运行。此外，工作流有助于实现流程自动化。为了提高效率、可靠性和可扩展性，这些工作流应该能够与现成的编排引擎（例如 Apache Airflow）集成。自动化数据分析可以减少人工干预，最大限度地减少错误，并确保工作流程顺畅运行。 3.数据分类 数据一旦被分析，就必须被标记或分类为结构化格式，以改进数据管理、使用、治理和可用性。如果没有分类，数据可能会变得杂乱无章，从而给确保数据质量、保持合规性、保护敏感信息以及优化数据集成和分析带来挑战。未分类的数据可能会增加安全漏洞、违反法规和运营效率低下的风险，因为它会阻碍应用适当的控制和治理的能力。 数据分类标签充当元数据描述符，方便用户搜索、查找和访问相关数据，并根据数据的敏感性、用途和所有权对其进行分类。这些元数据可以为人工智能和机器学习模型提供上下文，从而减少幻觉。 创建标签或标记的分类过程也用于数据质量和可靠性框架的后期阶段，例如应用质量规则和访问策略。 机器学习算法再次用于自动创建标签，但现在大型语言模型 (LLM) 正被用于利用其对语义的理解，从而显著改进仅使用关键词和静态分类法的传统分类方法。例如，LLM 利用其对语言模式和上下文的理解，自动将文本分类到预定义的类别中，例如情绪分析（正面、负面、中性）。最后，LLM 还可用于对非结构化数据进行分类，例如电子邮件、聊天消息、社交媒体帖子和其他非传统数据格式。 为了确保数据分类的高标准，使用了两种测量方法： 精确度：衡量模型正向预测的准确度。更高的精确度表明分类相关且准确。高精度表示模型的误报率极低。如果出现误报，则会提交工单，请求数据所有者进行必要的补救。 召回率：衡量模型识别所有相关正实例的能力或其完整性。较高的召回率表明分类没有遗漏标记数据元素。 总之，自动分析和分类可以主动且经济有效地检测数据集中的异常、不一致和错误，并在潜在问题影响下游流程之前提醒数据工程师和管理员。 4.数据目录和语义层 组织数据通常彼此孤立，难以定位，记录不全，管理不一致，导致效率低下、错误百出和合规风险。用户难以找到正确的数据、理解其背景并信任其质量，这阻碍了数据驱动的决策和协作。 数据目录通过集中数据发现、加强数据治理和提升数据素养来解决这些问题，最终使整个组织能够更高效、更合规地使用数据。它帮助用户了解哪些数据可用、数据来源、如何使用以及数据的质量和治理状况。 元数据构成了数据目录的基础，它能够提供组织内数据资产的全面视图。在发现、分析和分类阶段生成的元数据存储在数据目录中，以便在决策过程中进行搜索和利用。目录中的元数据分为三种类型： （1）技术元数据 描述数据的技术方面，包括其结构、存储和处理细节，例如模式信息、列数据类型、数据分布直方图、索引等。 对于文件，数据目录显示数据格式，如 CSV、JSON 和 XML 等，如果未明确定义，则推断模式。 （2）操作元数据 关注数据的使用、性能和生命周期，例如所有权、数据保留策略、数据刷新计划频率和访问策略。 数据访问和安全策略信息有助于实施数据治理策略，以确保遵守法规（如 GDPR 或 CCPA），并提供数据使用、转换和共享方式的审计跟踪。 它还有助于可观察性和沿袭（稍后讨论），因为它包括使用情况统计数据（例如，访问频率、大多数查询表、最活跃的用户）和性能指标（例如，查询响应时间、系统负载）。 （3）业务元数据 为数据提供业务上下文，使其易于理解并与业务用户相关。该层也称为语义层，包含业务词汇表和术语（例如 KPI、指标、维度）、业务规则以及数据在业务流程中如何使用的上下文细节。 现在，借助 LLM 的功能，描述性和上下文相关的业务描述可以自动生成，并存储在数据目录中。这进一步简化了对元数据进行自然语言问答的功能。传统上，目录允许用户使用关键字进行搜索，但随着与 LLM 集成的出现，目录现在支持使用自然语言进行语义搜索。 业务术语表中的术语映射到底层技术元数据。领域专家可以定义更符合业务需求且直观易懂的术语，使其更贴近分析执行。该术语表还可以按层次结构组织术语，并提供变更审计日志，从而实现完全透明和历史记录。BPMN、OMG SBVR、对象角色建模、面向事实建模、RDF/OWL 和 SKOS 等多种标准可用于管理业务术语表，但这些标准不在本文档的讨论范围内。 近年来，数据目录的范围不断扩大，涵盖了所有类型的数据资产，包括数据产品、高级分析模型、报告、规则和 KPI 等。虽然数据目录最初是为了发现和搜索元数据而推出的，但现在它们正被用于开发新的资产。 例如，用户可以搜索某个数据产品，然后将其与其他资产组合，构建并发布新的数据产品。在这种情况下，数据目录就变成了一个提供可共享数据资产的市场。这些市场可能只是允许数据共享，也可能能够计算使用量并进行退款，从而实现数据货币化。这对于数据目录来说是一个激动人心的未来，因为它们将发展成为战略性产品，创造新的收入来源。 本质上，数据目录是数据生产者、工程师、数据消费者和业务利益相关者之间卓越的协作工作空间。用户可以对数据资产进行注释、评级和排序，让消费者能够轻松“选购”合适的产品并信赖它。数据合约是一个新兴概念，它定义了存储在数据目录中的数据资产的属性，以便消费者能够围绕其产品和服务构建服务级别协议 (SLA)。 总而言之，数据目录显著增强了释放各类数据和分析资产价值的能力，从而改善决策制定。数据已成为一种战略资产，它记录详实、元数据丰富、值得信赖且易于访问。通过提高数据利用率，企业可以提高效率、获得新的洞察并优化运营。 5.数据质量规则 数据质量是指确保数据集的准确性、一致性、完整性和可靠性，以便用于决策。对于任何旨在从数据资产中获取可操作见解并减少 LLM 幻觉的组织而言，高质量的数据都是基础。 传统上，数据质量评估是使用手动查询构建的自定义规则进行的。然而，随着数据的快速变化和新类型数据的不断涌现，手动流程因其动态特性而难以持续。这促使我们利用标准差和Z分数对已分析数据进行统计分析，以确定数据如何围绕均值聚集，从而识别异常值。随机森林尤其擅长识别已分析数据中某些数据集之间的潜在关系。编辑距离使用模糊匹配来检测潜在的重复项。其他机器学习算法可以进行调整，以精确定位数据值的频率，因为低频值可能表示异常。 这些机器学习算法有助于预测管道中的潜在故障或瓶颈，从而实现主动补救。它们会自动检测与预期模式的偏差，从而发出潜在的数据质量问题或管道故障信号。 6.数据可观测性 数据可观测性是指理解和监控数据管道健康状况的能力，确保数据从源头到目的地顺畅流动，且不会降低质量、可靠性或成本效益。随着企业数据运营规模的扩大，维护这些管道健康状况的可视性变得越来越复杂。因此，持续监控数据在管道中的流动情况，可以洞察每个阶段的异常、故障、性能下降、成本超支和准确性问题。 图 2 显示了数据可观察性工作流的关键组件，与不使用数据可观察性产品的情况相比，它有助于更快地识别和解决问题。 图 2. 数据可观测性工作流程 数据可观察性工作流程的各个组成部分包括： （1）监视 持续监控数据和元数据，能够在问题发生时立即发现模式和异常。组织应根据战略需求，确定关键数据元素和相关数据源的优先级，以保持有效的关注并减少不必要的警报。他们应监控数据漂移、数据量、质量、服务等级协议 (SLA) 和资源使用情况等关键指标，以确保全面监管。 （2）分析 数据和元数据分析有助于识别隐藏的模式、故障和异常，从而能够及时甚至主动地采取干预措施，防止下游影响。有效的可观测性工具能够动态检测偏差，优化资源使用，并持续重新训练模型，以保持系统的效率和准确性。 （3）警报 当大量细粒度警报生成时，响应人员会逐渐失去注意力。这种情况被称为“警报疲劳”。因此，数据可观测性工具必须能够智能地管理警报，并升级最关键的警报。 数据可观测性工具能够主动向团队发出异常警报，并通过根据正常范围智能调整阈值，以及对通知进行分类或自定义以减少不必要的通知，从而管理警报疲劳。这种方法有助于确保关键警报得到处理，从而提高管道的正常运行时间和问题解决速度。 （4）事件管理 事件管理支持根本原因分析，通过从源头而非下游解决问题来避免技术债务。此流程支持跨业务部门协作启动补救措施，从而提高整体系统可靠性。 异常修复通常需要手动操作，因为关键任务源系统可能有其自身严格的数据更新操作流程。通常，当数据质量或可靠性阈值被突破时，数据管理员团队会收到警报，然后根据通知的优先级采取必要的措施。 （5）反馈 数据可观测性中的反馈循环确保系统持续演进并满足 SLA。运营反馈（例如延迟或数据缺失）可推动即时改进，而业务反馈则通过增强数据质量检查和部署透明度来展示价值，从而促进采用。 人工智能正在进一步提升数据质量和可观测性。大语言模型 (LLM) 擅长理解语义，并使用欧氏距离寻找相似性。此外，如果副驾驶都能为我们编写功能齐全的代码，那么规则又何尝不可呢？我们的想法是利用人工智能推断隐藏的关系和上下文模式，从而自动检测、编写规则并应用它们。 数据可观测性功能可以精确定位源系统变更对下游系统的影响。此过程称为影响分析，依赖于对数据管道沿袭的理解。这是该框架的最后一步，我们将在下文中介绍。 7.血缘和影响分析 了解数据沿袭有助于组织追踪数据从源头到最终目的地的路径，提供对数据使用方式、准确性级别的洞察，并更容易识别和解决错误或不一致等问题。 血缘追踪并记录数据在组织内各个系统和流程中流动时的起源、移动和转换。它就像一张地图，显示数据的来源、处理或修改方式，以及最终的归宿。 其用例包括法规遵从性、数据质量管理或运营效率。因此，各种角色都会使用谱系输出。例如，非技术利益相关者了解数据流如何与业务运营、决策和报告要求保持一致。数据工程师收集技术栈内部流程的洞察，例如数据如何从原始输入转换为处理后的输出。数据科学家使用数据集和模型的谱系来管理可重复性、合规性和模型完整性。 将显示缩放图像 图 3：血统示例 在这个具有代表性的沿袭示例中，SQL Server 中的原始 CRM 数据经过提炼，并在云数据湖的消费区中可用。一个提供客户销售和客户流失洞察的 Tableau 工作簿正在消费此示例中的数据。数据质量得分 (89.8%) 也可在“客户产品销售”表中看到，并在 Tableau 项目中的消费区 (94.7) 中看到。 沿袭应该适用于任何物理层，例如模式和表，直至最低粒度级别（例如列），以便进行更精确的影响分析和调试。此外，沿袭还应包含资产之间的转换逻辑。这需要从 ETL/ELT、SQL 和 BI 工具中提取转换元数据。如果数据元素或转换发生变化，沿袭图应该能够清晰地理解其对上游和下游系统的影响。 为了帮助提高数据可靠性，可以将数据质量规则、维度、指标和分数叠加到谱系中，从而使业务用户能够识别相关质量控制的实施位置。 AI 可以使用相似的数据集自动推断和预测数据沿袭。这使组织能够快速识别数据来源，了解其旅程，并评估任何更改或错误（即使对于新数据集）的影响。通过简化这些复杂的流程，AI 有助于维护数据完整性，支持合规性工作，并通过提供对数据依赖关系和潜在风险的清晰洞察来增强决策能力。 目前，一个名为 Open Lineage 的新开放标准正处于测试阶段。一旦该标准正式发布，并被数据治理、ETL 和 BI 产品广泛接受，元数据的双向共享将变得更加便捷。 二 治理和政策管理 到目前为止，本文的重点一直集中在元数据的发现、分析、分类、存储和共享，以及创建衍生数据产品。但组织需要确保数据使用者遵守约定的使用和治理政策。治理和政策管理功能支持并将框架的所有其他部分紧密联系在一起。这些政策涉及定义、规则、指标、角色、职责、工作流程和流程： 数据政策：涉及分类、质量、使用/隐私、安全等 商业术语政策：词汇表、分类、指标等。 利益相关者管理政策：谁做什么，谁需要被通知等 流程政策：问题管理的流程是什么，政策、规则、指标的创建和批准的流程是什么 数据访问策略：确保数据消费者只能访问他们被授权查看的数据，以保护隐私、管理数据泄露风险并满足合规性准则。 组织出于各种原因执行策略，例如被遗忘权（技术上称为擦除权）、数据保留、访问控制和使用。数据治理平台充当跨所有底层技术平台管理安全策略的单一管理平台，从而确保一致性。 数据访问策略首先检测所有个人敏感数据在管道中的位置，然后根据安全、隐私、法律和合规性要求对其进行分类。这种可见性对于管理跨不同系统、应用程序和存储位置的数据流的数据隐私风险至关重要。它还可以检测是否存在冗余数据副本，以便引入流程，通过限制不必要的数据扩散来减少攻击面。数据最小化的概念已被许多合规法规（例如欧盟《通用数据保护条例》（GDPR））所强制执行。其他具有具体指导方针的常见法规包括 PCI DSS 4.0、加州消费者隐私法案 (CCPA) 和健康保险流通与责任法案 (HIPAA) 等。对这些法规的讨论超出了本文档的范围。 接下来是策略管理阶段，首先定义并执行访问和使用策略。组织应根据数据的敏感性和关键性确定保护措施的优先级，确保针对已确定的用例，优先保护风险最高的数据。 理想情况下，策略可以使用下拉选项以自然语言编写，因为管理员并不总是擅长使用 SQL 或 Python 等语言编写复杂的逻辑。数据可观测性工具将策略应用于在分类阶段创建并由相应所有者验证的相关标签。例如，如果社保号码被标记为敏感信息，则策略可能会规定，对于大多数数据消费者，除最后四位数字外，该数据应进行加密、标记化或编辑。 数据目录充当定义、管理和执行数据治理策略的中央存储库，而底层系统则负责处理这些策略的执行。这些系统可能位于本地，也可能跨不同的云提供商。访问策略的执行采用了基于角色的访问控制 (RBAC)、基于属性的访问控制 (ABAC)、屏蔽、标记化、匿名化、假名化以及其他各种较新的方法，例如差异噪声。这些方法用于遵守各种安全和合规性法规，尤其适用于个人身份信息 (PPI)、支付卡信息 (PCI) 和受保护的健康信息 (PHI) 等敏感数据。 在数据质量和可靠性框架的这一部分，重点主要放在保护数据资产上，但安全领域要广泛得多。它包括多因素身份验证 (MFA)、防火墙、入侵检测和防御系统 (IDPS)、防病毒软件、端点检测和响应 (EDR)、数据丢失防护 (DLP) 以及安全信息和事件管理 (SIEM) 等。这些用于监视和控制用户、网络流量和设备。 三 小结 那么，为什么良好治理（包括质量、可靠性、访问控制、血统、可观察性、语义层等）的需求比以往任何时候都更加重要？ 因为比以往任何时候都有更多的人访问更多数据，用于更多业务用例。如果没有可信可靠的数据用于人工智能和分析，结果将会很糟糕，时间和金钱将会浪费，企业领导层也会对人工智能和分析失去热情和信心。结构化、全面的数据管理方法将使您的组织能够提供人工智能和分析成功所需的高质量、可靠的数据。 一些规范的方法可以加速人工智能和分析的开发和部署，并提高解决方案的准确性和性能。 提高数据质量透明度：通过提供对人工智能开发和运营数据质量不同维度（例如准确性、完整性和一致性）的可见性，数据质量透明度可降低人工智能应用中出现错误、偏差和不可靠输出的风险。 实现检索增强生成：通过访问可信可靠的数据，确保生成式人工智能模型输出的准确性。这种方法可以消除幻觉，并实现对生成式人工智能输出的事实核查和验证。 建立对AI输出的信任：通过提供对数据管道、数据处理方式以及AI系统实时行为的可视性，让客户、员工和监管机构确信AI输出在规定的操作范围内，并符合预期标准。 要想让您的组织走在运用人工智能和分析技术改善业务成果的前沿，就需要立即采取行动，利用可信可靠的数据为人工智能和分析引擎提供动力。使用高质量的数据来训练和增强您的人工智能模型，能够带来高质量的模型输出和更佳的业务成果。 来源（公众号）：数据驱动智能