标题：Scaling LLM Multi-turn RL with End-to-end Summarization-based Context Management 日期：2025-10-08 机构：ByteDance Seed, Stanford University, Carnegie Mellon University 链接：http://arxiv.org/pdf/2510.06727v1 一句话总结：本文提出了SUPO强化学习框架，通过训练大型语言模型生成摘要来管理上下文，使其能够解决超出固定上下文限制的复杂长程任务。 大语言模型的记忆限制：复杂多步任务的瓶颈 大语言模型（LLM）已展现出作为通用问题解决器的巨大潜力。当通过强化学习（RL）进行训练时，这些模型可以转变为能够处理需要与外部工具交互的复杂多步任务的智能体，例如数学推理、编程和深度网络研究。这些进展预示着一个未来：自主LLM智能体能够处理日益多样化和具有挑战性的问题。 然而，一个根本性的挑战阻碍了这一进展：LLM有限的上下文窗口。对于长周期任务，智能体可能需要执行数十次甚至数百次工具调用，导致累积的提示、行动和观察历史迅速增长。这种不受控制的上下文增长给RL训练带来了几个关键难题： 指令遵循能力退化： 经验证据表明，当上下文变得过长时，LLM的推理和准确遵循指令的能力会下降。这使得智能体在长周期场景中难以生成成功的行动序列。 过高的轨迹生成成本： RL训练依赖于生成大量"轨迹"或交互序列。更长的上下文导致推理时间变慢，使得轨迹生成过程成为训练流程中的主要瓶颈，并显著增加计算成本。 严格的上下文长度限制： 最重要的是，底层LLM的固定上下文长度对RL训练的范围施加了硬性限制。这阻止了智能体尝试那些解决方案所需交互步骤超过单个上下文窗口容量的任务。 总之，这些限制构成了一个显著的可扩展性障碍。如果没有明确的管理上下文机制，将很难训练LLM智能体在极其需要它们的长周期环境中有效运作。 一种新颖方法：利用AI生成摘要管理上下文 为了克服上下文长度瓶颈，研究人员提出了一种新颖方法：基于摘要的上下文管理。其核心思想是通过定期将智能体的交互历史压缩成简洁的AI生成摘要，来防止上下文无限增长。 智能体在达到特定上下文长度阈值时，不是简单地拼接每个新的行动和观察，而是被提示去总结其迄今为止的历程。该摘要随后取代冗长的历史，形成任务下一阶段新的紧凑起点。因此，智能体的工作上下文被重置，包含初始任务提示和所有过去交互的任务相关摘要。此过程如图1所示。 关键在于，该摘要并非使用固定的、基于规则的模板创建。它是由LLM智能体自身作为其决策过程的一部分生成的。这意味着可以通过RL训练智能体，使其学会保留哪些关键信息、如何抽象复杂细节以及可以安全丢弃哪些无关信息。通过联合优化智能体的行动及其摘要策略，该方法使模型能够维持一个紧凑但信息量丰富的历史表征，从而将其推理能力扩展到远超固定上下文窗口的范围。 介绍SUPO：一个支持端到端RL与摘要的框架 基于这一见解，该研究引入了一个原则性框架，将摘要直接集成到RL训练循环中。这是通过将用于多轮工具使用的标准马尔可夫决策过程（MDP）重新表述为摘要增强的MDP（记为）来实现的。 在LLM智能体的标准MDP中，任何步骤的状态通常是所有先前提示、行动和观察的拼接。随着智能体行动，状态单调增长：。然而，在摘要增强的MDP中，状态转换被修改。智能体仍然将其行动和观察附加到当前状态。但如果生成的上下文长度超过预定义阈值，则会触发摘要步骤。模型被提示生成摘要，下一个状态变为仅包含初始提示和新摘要的压缩表征。状态转换由以下规则定义： 若且若且若 这里，是一个特殊指令，提示智能体总结其当前上下文。这种表述（如图1下半部分所示）允许智能体的工作上下文长度保持有界，同时仍保留长历史中的基本信息。 为了将该框架付诸实践，论文引入了摘要增强的策略优化（SUPO），这是一种可扩展的RL算法，旨在以端到端的方式联合优化工具使用行为和摘要策略。 SUPO如何工作：联合学习行动与摘要 SUPO是一种策略梯度算法，使LLM智能体能够学习如何行动以及何时总结、总结什么。其设计基于一个使训练可行且高效的关键理论结果。 分解的策略梯度 SUPO的基石是一种新颖的策略梯度公式（定理3.2）。它证明了一个可能涉及多个摘要步骤的整个长周期轨迹的策略梯度，可以分解为几个较短"子轨迹"的梯度之和。每个子轨迹以对过去的摘要（或初始提示）开始，以智能体为当前工作片段生成新摘要结束。 这种分解是强大的，因为它允许对现有的、为标准的非摘要轨迹优化的RL训练基础设施进行最小修改即可使用。一个单一的、复杂的、带摘要的轨迹可以被视为一批较小的、独立的轨迹，从而大大简化了实现。 关键算法组件 SUPO基于此基础，通过几个关键设计细节来稳定训练并促进有效学习： 轨迹管理： 在训练期间，每个长轨迹在摘要点被分割成多个完整的轨迹。这直接与分解的策略梯度定理对齐，并允许高效处理。 组相对优势估计： 为了计算优势（衡量某个行动比平均行动好多少的指标），SUPO将整个轨迹的最终奖励分摊到其所有子轨迹中。然后，每个标记的优势是相对于同一批次中其他轨迹计算的。这种简单而有效的方法，表示为，被发现比更复杂的替代方法更有效。 超长掩码： 这是长周期任务的关键机制。训练目标会掩码掉任何未能在最大步数（）或最大摘要次数（）内产生最终答案的轨迹的梯度。没有这个机制，模型会因尝试长但最终失败的任务而受到惩罚，导致其抑制摘要并完全避免长轨迹。此掩码鼓励智能体探索和学习针对真正困难问题的有效摘要策略。 上下文长度的精细控制： 为防止非常长的观察将上下文远远推过摘要阈值，SUPO在生成摘要前丢弃最后的行动-观察对。这确保用于摘要的上下文长度保持在严格控制的范围内。 实践检验：SUPO在编程和网络搜索中的表现 SUPO在两个具有挑战性的多轮工具使用环境中进行了评估：CodeGym（一个需要迭代函数调用来解决编程问题的合成环境）和BrowseComp-Plus（一项要求高的网络搜索任务）。 表1所示的结果证明了SUPO的有效性。在BrowseComp-Plus上，SUPO实现了 53.0% 的最终成功率，比基线GRPO算法绝对提升了 +14.0% ，即使使用了相同的64K工作上下文长度。在CodeGym上，SUPO能够实现比使用32K上下文的基线更高的成功率（+3.2%），而SUPO本身仅使用 4K工作上下文 结合最多7次摘要步骤（等效上下文为32K）。这凸显了SUPO在显著降低轨迹生成期间计算需求的同时实现强大性能的能力。 图2中的训练和验证曲线表明SUPO能够稳定有效地学习。对训练动态的进一步分析揭示了关键见解： 增加的工具使用：图4显示，SUPO激励智能体使用其工具的频率比基线高出最多3倍，这对于收集足够信息以解决复杂问题至关重要。 有效的摘要学习： 如图3所示，智能体很快学会触发摘要，更重要的是，这些带摘要的轨迹的成功率在训练期间持续增加。这证实了模型正在联合学习有效行动和摘要。 高质量摘要：表2所示的定性分析揭示了摘要质量的显著差异。在训练前，智能体的摘要泛泛而谈，常常遗漏关键信息。经过SUPO训练后，智能体学会保留精确、可操作的细节——例如在CodeGym中它正在迭代的确切索引，或在BrowseComp-Plus中关键证据的具体文档ID——这些对于后续步骤至关重要。 消融研究也证实，超长掩码和所选的优势估计策略对于实现这些最先进的结果至关重要。 超越限制：扩展训练后智能体能力 也许最令人兴奋的结果是SUPO将其学到的摘要技能泛化到训练期间未见条件之外的能力。研究人员提出了一个问题：一个在最多轮摘要条件下训练的模型，能否在测试时扩展到处理更多轮摘要？ 假设是，如果智能体学会了一种真正可泛化的摘要策略，它应该能够重复应用该策略来解决需要更长历史的更复杂问题。为了测试这一点，在BrowseComp-Plus上以最多次摘要训练的模型，在测试时以允许增加的摘要轮数进行评估。 图5所示的结果非常显著。使用SUPO训练的模型的准确率不仅超过了所有基线，而且随着测试时允许的摘要轮数增加而持续增长，达到了 60.0% 的峰值准确率。这表明SUPO所做的不仅仅是管理内存限制；它赋予了智能体一种稳健、可扩展的推理能力。通过学习将其经验提炼成有效的摘要，智能体可以动态扩展其问题解决范围，应对远比其明确训练过的任务更复杂的挑战。这一卓越发现展示了基于摘要的上下文管理作为一种原则性强大的方法，用于构建下一代智能LLM智能体。 来源（公众号）：AI SIgnal 前瞻

人工智能时代的数据挑战 随着智能技术革新各行各业，数据量和种类都呈现爆炸式增长。银行生成结构化交易记录、非结构化客户通话记录以及半结构化的 JSON 档案。医院管理着自由文本的病历、数值化的实验室结果以及诊断图像。如此海量的多源异构数据已不再是例外，而是常态。 传统数据系统专为孤立、单一格式的处理而构建，无法跟上时代的步伐。它们一次只能处理一种数据类型，无法理解它们之间的丰富联系。但现代人工智能的要求更高：它需要从所有可用数据维度中获取全面、丰富的洞察。 挑战已经发生了变化。它不再仅仅关乎存储，而是关乎理解。在人工智能时代，系统必须模仿人类认知，将不同模态的不同数据点连接起来，形成有意义的网络。 当前，多源异构数据的融合已成为必然趋势，而图数据库是解决这一问题的关键技术之一。 为什么我们需要图形数据库？ 传统数据方法的局限性 传统数据处理方法在当今复杂的数据环境中难以应对。早期的存储模型创建了碎片化、孤立的“数据孤岛”，彼此之间几乎没有连接，几乎无法洞察数据全貌或挖掘数据中隐藏的真正价值。 以企业客户管理为例，客户的个人资料可能存储在一个表中，购买历史记录存储在另一个表中，服务交互信息则存储在另一个表中。为了了解客户的整个旅程，您需要进行跨表连接。但随着数据的增长，这些查询会变得缓慢而难以处理，延迟会从几毫秒跃升至几分钟。更糟糕的是，连接过程中不匹配的字段可能会导致错误，从而导致不准确的洞察和错误的业务决策。 结果如何？分析速度缓慢、效率低下，关系被忽视，原始数据和可操作见解之间的脱节越来越大。 AI时代的新需求：语义理解与多模态融合 传统数据库在处理多模态数据时存在先天不足。多模态数据之间存在复杂的隐性关联，而传统数据库的二维表结构无法直观地表达这种关联，导致多模态数据的融合分析难以实现。人工智能对深度语义理解的需求，进一步凸显了传统数据库在处理复杂非线性关系方面的不足。 一步完成从多模态数据到关系分析 为了解决数据连接难题，图数据库直观地重构了关系：不同的数据点变成了“节点”，它们的逻辑连接被明确地建模为“边”。这种结构实现了“一键式”数据关联，无需复杂的连接操作。 图数据库将结构化数据和非结构化数据无缝集成到统一模型中。例如，在分析产品视觉特征与用户情绪的关系时，可以通过一条边将“图像节点”直接链接到“评论文本节点”。通过结合人工智能驱动的图像和文本分析，这些连接揭示了视觉和情感之间隐藏的模式，从而在人工智能时代实现更深入的语义理解和强大的跨模态分析。 图形数据库如何赋能智能数据基础？ 数据智能底座是企业实现智能化转型的核心基础设施，旨在整合多源异构数据，为智能应用提供统一高效的数据支撑。其构建遵循“内容分析、语义对齐、领域建模、关系图谱”四步框架。在这个过程中，天生具备实体和关系处理能力的图数据库在每个阶段都扮演着至关重要的角色，是多模态数据融合和价值提取的基石。 内容夸克：将原始数据转化为结构化的构建块 内容分析是数据智能的基石。它的核心在于解构海量、杂乱的原始数据（文本、图像、音频、文档），并提取其中的精髓：实体、属性和关系。我们可以将数据分解成微小的原子单元，我们称之为“内容夸克”。 先进的工具使这一切成为可能：OCR 读取图像中的文本，语音识别将音频转换为文本，LLM 解析文档中的含义。这些工具共同将非结构化数据转换为清晰的结构化片段。 通过预先定义实体和关系类型，图数据库提供了清晰的提取蓝图。例如，在处理付款记录时，预先构建的架构可以引导系统精确识别“用户 ID”、“商户代码”或“转账至”等操作。这不仅可以减少错误，还能确保一致性，为日后获得更智能、更可靠的洞察奠定基础。 语义对齐：打破“数据孤岛”，构建统一的语义空间 语义对齐的目标是将来自不同系统、具有不同命名约定的数据映射到统一的语义空间中，从而实现跨源数据的无缝连接和互操作。 此过程结合大型语言模型 (LLM) 的强大功能，用于语义理解、数据沿袭分析和业务特定规则，从而识别跨系统的同义词。例如，电商平台中的“买家 ID”和银行系统中的“账户持有人编号”可以识别为同一个核心概念：“用户唯一标识符”。 图数据库非常适合这项任务。利用其原生的节点-边结构，它们可以将同一现实世界实体的不同名称合并为一个统一的节点。该节点上的属性保留了来自各个来源的原始标签——例如，“用户 X”节点的标签为客户 ID：123，用户编号：456。 这种方法使系统能够自动识别不同的名称指的是同一个实体——有效地打破长期存在的数据孤岛，为强大的跨场景分析铺平道路。 领域建模：适用于每个用例的灵活数据结构 不同的业务场景需要不同的数据视角。风控侧重于用户网络、可疑交易和黑名单商家，而市场营销则关注用户偏好、行为和活动参与度。领域建模通过定义相关概念和业务规则，根据这些特定需求定制数据结构。 在这里，图数据库就像一个“可定制的架子”——灵活且易于重新排列。它们没有采用僵化的表格模式，而是将核心思想表示为节点，将连接表示为边。这使得建模复杂的关系变得简单，例如在欺诈检测中将“黑名单商家”与“异常交易”联系起来。 最重要的是，该模型可以随着业务发展而不断发展。需要添加“物流信息”？只需引入一个新节点并连接即可，无需彻底修改架构。这种灵活性使图数据库成为构建可扩展、面向未来的数据模型的理想选择。 关系图：大规模连接点 关系图谱是四步数据智能框架的巅峰之作——它将内容分析、语义对齐和领域建模过程中发现的所有实体和连接整合在一起。它形成了一个统一的全局图谱，将多模态数据整合到一个统一的网络中，从而实现深度数据融合和高效查询。 这种集成图谱将碎片化的数据整合到一个互联的空间中。在强大的图计算引擎的支持下，它可以揭示传统系统无法发现的隐藏模式和复杂关系。 图数据库成为存储和计算的中心枢纽。它高效处理数十亿个节点和边，同时支持快速的多跳遍历和复杂的模式搜索。例如，在欺诈检测中，查询“用户 A”可以立即揭示其交易、关联的商家、触发的风险规则，甚至与已知不良行为者的间接联系——就像实时追踪侦探的案件地图一样。 通过将所有事物互联，图表将分散的数据转化为可操作的情报，释放企业多模式数据的全部价值，并支持更智能、更快速的决策。 图形数据库：数据智能的引擎 图形数据库为内容提取提供了标准化的框架，为数据对齐提供了统一的语义层，为特定领域的建模提供了灵活的结构，并作为存储和查询关系图的高性能引擎。 以NebulaGraph为代表的图数据库不仅仅是一个数据库，更是多模态异构数据融合的核心使能器，将碎片化的信息转化为互联的知识。通过挖掘深层关系和隐藏模式，图数据库赋能智能分析、实时风险检测、精准营销等高级应用，为企业智能化奠定坚实且可扩展的基础。 智能系统：智能数据基础驱动的创新 有了坚实的数据基础，创新得以加速。从提供精准情境感知响应的智能问答系统，到揭示隐藏模式和洞察的高级分析，再到数据资产的无缝传输和利用——这一智能核心将成为驱动下一代应用的引擎。企业数据的潜在价值将在此得到充分释放，从而改变现实世界的业务运营。 智能问答：从数据到知识的飞跃 传统的问答系统严重依赖关键词匹配，从孤立的数据源中提取孤立的碎片信息。面对复杂且上下文丰富的查询时，它们往往显得力不从心。例如，当用户询问“哪些因素可能与客户的贷款申请被拒绝有关？”时，传统系统可能会返回单一、肤浅的答案，例如“信用评分不足”，而忽略了交易异常或复杂的担保关系等关键但隐藏的因素。这种碎片化的输出阻碍了全面的决策。 相比之下，基于强大智能数据基础的智能问答系统代表着从数据检索到知识理解的根本性转变。当用户提交查询时，LLM 首先会解读其潜在意图。然后，系统会利用智能基础中统一互联的数据，利用图数据库强大的关系遍历功能，探索“客户”节点与相关实体（例如“信用评分”、“交易异常”和“担保违约”）之间的路径。 图形数据库至关重要：它能够快速识别所有相关实体及其关联，确保响应不仅捕捉直接原因，还能捕捉间接的、具有上下文相关性的关系。然后，系统将这些分散但相互关联的洞察综合成一个连贯的多维答案，从而提供“一个问题，完整的洞察”。用户获得准确、全面的响应，从而显著提高决策的速度和准确性。 智能分析：发掘隐藏价值 企业运营过程中积累的海量数据往往隐藏着宝贵的模式和风险，而这些模式和风险是传统的单维分析无法发现的。传统方法无法构建理解复杂现实所需的丰富且相互关联的视角。 建立在强大智能数据基础上的智能分析系统，利用图形数据库的“全局关系网络”克服了这些限制。这使得能够深入探索跨多模态数据的隐性连接，揭示跨组织和数据孤岛的隐藏风险和机遇。 图数据库不仅擅长快速数据检索，还能通过多跳关系遍历挖掘更深层次的洞察。通过连接不同层级的碎片化数据点（例如交易、行为和关系），图数据库使组织能够构建全面的风险概况和整体的客户视图。这将分析从被动报告转变为主动预警。 这种强大的能力推动了金融科技、营销、医疗保健等领域的突破，为整个企业提供了前所未有的可操作的见解。 数据MCP市场：释放数据资产价值 传统数据管理普遍存在格式不一致、语义不统一、跨部门关系不透明等问题，导致数据孤岛现象严重，数据资产无法高效共享和流通，并造成数据重复和冗余，造成高昂的成本。 数据MCP市场应运而生，它基于智能数据基础，将分散在不同业务系统的数据资产集中整合、标准化，打造统一、按需的“数据资源池”。 例如，在银行内部，风险管理、市场营销和客户服务团队可以通过市场访问和共享单一、语义一致的客户关系数据版本。这消除了冗余的数据收集和处理，确保了组织一致性，并显著提高了数据利用率和信任度。 图数据库作为MCP数据市场的基础引擎，为安全高效的数据资产共享提供了两大关键保障： 一致性保证：图数据库利用智能数据基础的统一语义层，确保跨部门访问的数据保持一致的含义和上下文。这消除了歧义，并防止了因“相同术语，不同含义”而导致的业务冲突。 可追溯性保障：图形数据库通过将数据沿袭建模为显式关系，捕获数据的整个生命周期，包括其来源、转换和依赖关系。当部门使用数据资产时，可以通过连接的节点进行回溯，以识别其来源、处理历史记录和下游影响，从而确保数据的来源、合规性、可靠性和完全可审计性。 数据多点控制平台 (MCP) 市场的建立，将数据资产从孤立的、部门专属的资源转变为共享的企业资本。这一转变不仅显著降低了数据管理成本，消除了重复投资，还通过跨部门数据集成促进了创新。数据真正实现了“流动”，自由地流向其创造最大价值的领域，从而推动增长并最大化其战略影响力。 这些创新并非孤立的进步，它们共同标志着一场更深层次、覆盖整个企业的转型：从传统的“数据驱动”模式向更复杂的“知识驱动”模式的演变。在知识驱动的组织中，决策不再仅仅基于历史数据中表面的关联，而是基于对潜在联系、背景和因果关系的深刻理解。 由图形数据库驱动的智能数据基础，提供了将海量异构数据转化为结构化、互联知识的必要基础设施。它使企业能够从被动分析转向主动智能，从简单的数据驱动转变为真正的知识驱动。 未来趋势：图数据库与人工智能的无限潜力 从整合孤立数据到赋能智能问答、分析和数据多点控制平台 (MCP) 市场，图数据库与人工智能的融合迅速重塑了企业智能。随着人工智能的发展，这种协同效应将释放更深刻的洞察、自主知识发现和自适应系统，从而推动认知型、知识驱动型企业的新时代。 在应用场景上，图数据库与AI的融合将变革各个领域。 智慧城市发展 图形数据库将海量交通、能源和公共服务数据整合成一个动态的城市运营网络。人工智能利用这种互联互通的结构，可以分析交通流量、天气和事件之间的实时关系，从而优化信号配时。它能够揭示能源使用、产业分布和人口密度之间的关联模式，从而实现智能电网管理。通过将公共服务供给与社区需求进行映射，它能够精准规划学校、医院和基础设施，使城市真正能够“思考并响应”。 医疗健康 通过将患者的基因数据、病史、影像和生活方式整合成统一的健康图谱，AI 可以提供更精准的诊断和个性化治疗。在传染病控制领域，AI 可以分析“患者-接触-位置-变异”网络，快速追踪传播链，预测疫情爆发，并为有效的公共卫生干预措施提供信息。 个性化推荐 图形数据库和人工智能将突破基于行为的推荐的局限。通过将社交联系、兴趣、情境和情感线索整合到丰富的多维用户画像网络中，人工智能可以揭示更深层次的意图和关系。这将使推荐从简单的“类似商品”转变为真正预测用户需求，从而提供真正个性化、情境感知的体验。 金融风险管理 图数据库与人工智能的结合，实现了更精准的风险检测。通过构建涵盖用户、交易、商户、关联企业和市场状况的综合图谱，人工智能可以实时监控隐藏的风险路径。它可以通过复杂的交易链发现洗钱行为，并通过分析企业股权和担保网络预测违约风险，从而以更深入、更主动的洞察来加强金融安全。 科研与创新 人工智能和图形数据库将加速知识发现。例如，在材料科学领域，人工智能可以分析成分、结构、加工和性能等图形关联数据，从而识别有前景的新材料组合，从而大幅缩短研发周期并推动创新。 结论 归根结底，图形数据库和人工智能的巨大前景在于它们共同关注“万物互联”的决定性特征：关系。在一个自然系统和人类活动深度互联的世界里，价值不仅在于数据点，还在于它们之间的联系。 来源（公众号）：数据驱动智能

“数据架构”这个词，搞数据的同行们天天都在说。 但你真的能一句话讲清楚它到底是啥、为啥那么重要、又该怎么设计吗？ 是不是一提到它，脑子里就蹦出来一堆技术名词和分层模型，比如 ODS、DWD、DWS、ADS？ 打住！数据架构可远不只是技术的堆砌。 今天，我就抛开那些模糊的概念和花哨的术语，用大白话手把手拆解数据架构的核心逻辑—— 数据架构到底是什么？ 为什么需要数据架构？它有什么作用？ 该怎么设计数据架构才能真正帮到业务？ 读完这篇，保证你能把数据架构讲得明明白白！ 一、数据架构到底是什么 很多人一提到数据架构，第一反应就是： "不就是数据分层吗？ODS→DWD→DWS→ADS，再套个Lambda架构或者Kappa架构？" 这种想法： 把数据架构弄窄了，当成了技术组件的排列组合，却忘了它的本质是连接业务目标和技术实现的"数字骨架"。 说个实际点的例子： 一家连锁超市想搞"千店千面"的选品策略，需要的数据可能来自： POS系统（实时销量） 会员系统（消费偏好） 天气平台（区域气温） 供应链（库存周转） 这些数据得先预处理： 最后才能给到前端APP的选品推荐模块。 支撑这个流程的，不是单一的数据库或ETL工具，而是一整套逻辑： 数据从哪来（多源异构数据的接入标准得明确）； 存什么、怎么存（哪些进数据湖、哪些进数据仓、哪些放实时缓存里）； 如何加工（批量处理和实时计算的边界得划清）； 怎么用（API接口的权限要控制，业务人员得能自己取数）； 如何管（数据质量谁负责、元数据怎么追踪、血缘关系怎么监控）。 这些问题的答案，合在一起才是数据架构的核心。 所以说： 数据架构不是一成不变的技术蓝图，是跟着业务目标、数据规模、技术发展随时调整的"活系统"。它得跟着企业的实际情况动，不是建完就万事大吉了。 二、数据架构设计的四个关键维度 明白了数据架构的本质，接下来就得解决"怎么设计"的问题。 传统方法常把数据架构分成"采集-存储-处理-服务-治理"五层，但这么分容易让人钻进"技术至上"的牛角尖。 我从实战里总结出四个关键维度，能覆盖从业务需求到落地的全流程。 1. 责任分明的分层设计 数据分层包括： ODS原始层 DWD明细层 DWS汇总层 ADS应用层 本质是通过分层降低复杂度，把各层的责任边界划清楚。 但很多企业在分层设计上容易出两个问题： 分层太细：比如把DWD层再拆成"基础明细层""公共明细层"，结果ETL任务链变得老长，调试起来费时又费力； 分层混乱：业务人员直接从ODS层取数，跳过明细层和汇总层，导致重复计算，而且数据口径也对不上。 说白了，正确的分层逻辑应该是"按使用场景划分责任主体"： 所以说： 分层的关键不在技术实现，而在通过责任分离减少跨团队协作成本。 2. 最合适的技术选型 数据架构的技术选型是很多人头疼的事，比如： 用Hive还是Spark处理离线数据 用ClickHouse还是Doris做实时查询 但实话实说，没有哪种技术能解决所有场景的需求。 我总结了三条选型原则，你可以参考： 匹配数据特征：如果数据是高并发、低延迟的（比如APP实时点击流），用Kafka+Flink做流处理更合适；如果是T+1的批量数据（比如财务报表），用Spark+Hive会更稳定； 考虑团队能力：如果团队熟悉SQL生态，优先选Hudi/Delta Lake这类支持ACID的事务湖，别硬上ClickHouse集群，不然维护起来费劲； 预留扩展空间：别过度依赖单一技术（比如全用HBase），可以通过湖仓一体（比如Apache Iceberg）实现"一份数据多场景用"，降低被单一技术绑定的风险。 3. 全流程嵌入的治理体系 数据治理常被误会成"贴标签、建元数据、做质量检查"。 但实际上： 60%的数据问题都是因为治理体系没嵌到数据处理的全流程里。 真正有用的治理，得包含三个关键动作： 4. 支撑业务的演进路径 数据架构不是一锤子买卖，得跟着业务发展慢慢演进。 我观察到三种典型的演进阶段，你可以看看自己的团队在哪个阶段： 生存期（0-3年）：业务扩张快，数据需求零散。这时候架构的核心是"快速支撑"，允许一定冗余，但得留着数据打通的可能； 发展期（3-5年）：业务进入稳定期，数据问题集中爆发。这时候得"集中治理"，通过湖仓一体平台把分散的数据整合起来，建立全局的数据标准和治理体系； 成熟期（5年以上）：数据成了核心生产要素，得"智能驱动"。这时候架构要能支持AI能力，还得通过数据产品化，让业务人员用起来更方便。 三、数据架构的三个常见误区 在数据架构设计上，我见过太多"用力太猛"或"因小失大"的情况。下面这三个常见误区，你可得避开： 1. 别为了"技术先进"丢了"业务价值" 很多企业盲目追新技术，刚接触数据湖就想把数据仓全迁过去，或者为了搞实时计算，把所有ETL都改成流处理，结果开发成本涨了一大截，业务人员却用不起来。 但实际上： 技术的价值是解决业务问题，不是用来证明自己多厉害。 如果： 一个业务的日数据量只有100GB，用Hive做批量处理比用Flink做实时计算更稳定、更省钱，没必要非得用新技术。 2. 别把"数据治理"做成"面子工程" 有些企业花大价钱买元数据管理工具，做了漂亮的血缘图谱，可数据质量问题还是不断。 问题出在哪？ 治理没和业务流程绑在一起。比如： 用户信息修改，得经过数据质量校验才能入库，不能等数据进了湖再清洗。 所以说： 治理得"往前放"，别等出了问题再补，那时候就晚了。 3. 别追求"完美架构"，忘了"动态调整" 数据架构没有"最优解"，只有"最适合当前阶段的解"。 之前找我咨询的一家零售企业： 在业务扩张期，非要搞**"大一统"的数据架构**，要求所有业务线用统一的标签体系。 结果呢？ 生鲜事业部的"促销敏感用户"标签和美妆事业部的"复购周期"标签合不到一起，反而拖慢了业务创新。 所以说： 好的架构得允许"局部最优"，慢慢再整合，一口吃不成胖子。 总结 数据架构不是技术的堆砌，是业务的翻译官——把业务目标变成数据需求，再把数据价值变成业务成果。 下次你再为数据架构头疼时，不妨问问自己： 这套架构真的支撑了当前最核心的业务目标吗？ 数据从产生到使用的每个环节，责任都清楚吗？ 业务需求变了，架构能快速调整吗？ 想清楚这三个问题，你离"把数据架构讲清楚"就不远了。 来源（公众号）：五分钟学大数据

“哥，Doris 4.0 把 AI 塞进数据库了！” 凌晨一点，DBA老周在群里甩出这句话，附带一张截图：一条 SQL 直接调通简历筛选，把 30 万份数据 3 秒跑完。 我盯着屏幕，咖啡差点洒键盘——这年头，连数据库都开始抢 HR 的饭碗？

在数字化浪潮席卷的当下，数据已成为企业核心资产，但“沉睡”的数据难以创造价值。如何打破数据孤岛、提升数据质量、挖掘数据潜能？数据治理正是关键钥匙！它通过构建流通底座、强化质量管控、驱动智能决策等举措，让数据真正“跑起来”。 接下来，让我们深入探讨数据治理如何助力企业实现价值跃升！具体可从以下五个层面展开分析： 一、打破数据孤岛：构建流通与共享的“数据高速公路”‌ ‌技术整合‌ 通过数据集成平台、数据湖等技术，实现多源异构数据的统一采集与存储。例如，某市卫计委构建区域医疗健康大数据平台，整合医院、社区、第三方机构的数据，打破信息壁垒，使患者病历、检查报告等数据跨机构流通，提升诊疗效率。 ‌组织协作‌ 设立数据治理委员会或跨部门团队，明确数据所有权与管理责任。例如，某企业建立公司级数据管理部，统一信息架构与数据标准，推动业务数据分类存储与快速调用，实现全球100多个国家和地区的业务协同。 ‌共享机制‌ 构建数据共享平台，支持多协议、扩展性强的数据交换。例如，某制造企业与上游供应商打通系统，同步生产计划与供应规划，供应商根据共享数据调整生产与配送计划，实现上下游高效协同。 二、提升数据质量：筑牢数据价值的“基石”‌ ‌标准化管理‌ 制定统一的数据标准（如命名规范、编码规则、业务术语），确保数据一致性。例如，某地产企业通过建立“楼盘字典”，人工采集与录入房源数据，解决行业“假房源”问题，为后续服务提供可靠基础。 ‌质量监控‌ 建立数据质量评估机制，定期清洗、校验数据。例如，某银行采集客户身份、贷款额度等数据，构建信用评分模型，自动预测违约风险，减少潜在损失。 ‌全生命周期管理‌ 从数据采集、存储、处理到退役，实施全流程管控。例如，某区政府数据共享交换平台制定数据保留期限与处置方式，确保数据安全退役，降低存储成本。 三、强化数据安全与合规：构建数据流通的“防护网”‌ ‌技术防护‌ 采用数据加密、访问控制、脱敏等技术，保障数据传输与存储安全。例如，企业通过数据分级授权，限制敏感数据访问权限，防止泄露。 ‌合规管理‌ 遵守GDPR、CCPA等法规，建立数据安全政策与审计机制。例如，某企业在全球化扩张中，严格遵守各国数据安全法规，避免法律风险。 ‌风险控制‌ 基于知识图谱构建风险分析服务，如360°客户画像、企业关系图谱，实现供应链与投融资的风险预警。例如，某企业通过分析食品来源与成分数据，管理公共领域风险。 四、驱动数智决策：让数据成为业务的“指南针”‌ ‌数据分析与挖掘‌ 利用大数据、人工智能等技术，发现数据深层价值。例如，某企业融合外部行业趋势数据与内部产品反馈数据，洞察客户需求，优化新品研发。 ‌智能化应用‌ 构建智能决策系统，如搜索引擎、问答系统，提升决策效率。例如，知识图谱结合自然语言识别技术，支持企业快速查询与分析数据。 ‌业务场景赋能‌ 将数据应用于具体业务场景，如医疗健康、金融风控、智能制造。例如，基层医疗机构通过分析社区老年人健康数据，推进医防融合，提升服务质量。 五、培育数据文化：营造数据驱动的“生态圈”‌ ‌领导力推动‌ 高层领导以身作则，推动数据文化普及。例如，企业管理层通过数据了解业务全貌，降低决策偏离风险。 ‌绩效考核‌ 建立数据治理考核机制，激励员工参与。例如，将数据质量指标纳入部门KPI，推动跨部门协作。 ‌培训与宣传‌ 通过内部培训、研讨会等方式，提升全员数据素养。例如，鼓励员工学习DAMA-CDGA/CDGP认证，培养数据治理专业人才。 来源（公众号）：数据治理研究院

习近平总书记强调，要密切关注天气变化，加强监测研判，及时发布预警预报信息。气象数据作为国家战略性、基础性资源，是推进气象科技能力现代化和社会服务现代化的重要支撑。为充分释放气象数据要素价值、培育发展新质生产力，亟须创新更多可转化的应用场景。2023年，国家数据局等17部门联合印发《“数据要素×”三年行动计划（2024—2026年）》，明确提出“数据要素×气象服务”重点行动。2024年，中国气象局印发《“气象数据要素×”三年实施方案（2024—2026年）》，推动气象数据要素发挥乘数效应，赋能经济社会高质量发展。2025年“数据要素×”大赛气象服务赛道旨在加快气象数据要素与应用场景深度融合，通过利用气象信息和相关技术，增强风险应对能力，提升气象服务能力和效益，更好赋能经济社会高质量发展。 一、提升气象防灾减灾能力 通过气象数据与自然资源、交通运输、农业农村、住建、水利等数据深度融合，强化气象灾害风险预报预警产品精细化水平，支撑基础设施安全底线，提升城市运行的智慧化、韧性化水平，为新型城镇化提供坚实保障。 一是提升气象灾害预警能力。围绕实施新型城镇化战略，融入城市智慧高效治理新体系，聚焦城市内涝、农业旱涝、地质灾害等特定场景，通过数据协同挖掘灾害链关联规律，创新动态风险评估、预警信息精准推送或应急决策支撑技术，提升灾害防控的时空精细化与智能化水平，助力基础设施协同规划与高效运行。 二是加强重大工程等气候适应能力。强化重大工程、基础设施全周期气象服务，重点突破极端天气事件下的多源数据实时融合、关键基础设施脆弱性动态评估、灾害链式传播模拟等关键技术，开发场景化、定制化、精准化的预警产品及决策支撑工具，为城市安全运行提供“监测－预警－处置－评估－后处理”全链条解决方案，从规划、建设到运行全程赋能安全保障。 三是聚焦多灾种早期预警能力建设。针对城市安全韧性提升，重点突破极端气候事件下的城市规划脆弱性诊断、重大工程气候适应性优化设计、建设运维全周期气象风险预警等关键技术，构建具有时空精细化特征的“气象－规划－工程”协同决策平台，增强极端天气下城市生命线工程的抗风险能力。 二、提升气象赋能行业能力 围绕低空经济、能源气象及高价值数据产品，构建协同气象数据要素市场化配置机制。 一是护航低空经济赛道。融入低空经济基础设施与监管平台建设，构建空地一体的气象监测网、数据网和服务网。重点突破低空气象精准预报、飞行航线合理规划、极端天气风险预警等关键技术，通过精准监测、实时数据传输和定制化服务，为低空飞行器导航、空域管理、应急救援等提供支撑，推动低空物流、航空旅游等新业态安全发展，助力低空经济成为新质生产力增长极。 二是创新数据服务新业态。围绕新型电力系统构建能源气象服务体系，摸清风电、光伏资源底数，建立覆盖能源生产、输送、储存全链条的气象保障机制。开发风能太阳能资源评估、风能太阳能发电精细化气象服务、电力设施安全气象服务等创新应用，辅助电力调度优化，提升能源供应稳定性。同时，融入冰雪经济、银发经济，与景区、康养机构等经营主体联合，打造旅游、健康气象数据服务新业态。 三是释放气象数据要素价值。深入挖掘气象数据要素价值，推进气象数据要素市场化配置改革，健全产权保护、交易流通等机制，加强标准化数据集供给，探索建立可信数据空间、数据交易中心与授权运营平台，培育数商模式，推动数据赋能金融、农业等行业，通过数据流通与创新应用，释放气象数据高价值，激发产业发展新动能。 三、提升应对气候变化能力 从识别、防范到金融支撑，构建气候风险全链条应对体系，赋能生态文明建设与行业高质量发展。 一是加强风险识别能力。通过整合气象与其他领域数据，运用大数据分析与机器学习算法，健全气候承载力、影响与风险评估体系，完善数据技术标准。加强重点区域风险识别，精准评估极端天气、生态退化等风险，为风险防控提供科学依据。 二是提升气候风险防范能力。建立气候安全评估和早期预警系统，构建综合评估模型，完善实时、精准的风险预警与决策机制，并借助数据融合，创新风险转移机制。强化极端天气气候事件的监测预警，提升重点行业、生态区域风险应对能力，降低气候风险对经济社会的影响。 三是创新金融气象数据产品。研发气候投融资金融工具，将气候风险纳入投融资评估，完善巨灾保险等机制。开发精细化天气指数保险产品及天气衍生品，通过金融气象指数应用，引导资本投向气候适应项目，形成风险管控与资金保障联动机制，助力有效管控气候风险。 作者：张志富 国家气象信息中心正高级工程师 来源（公众号）：北京数据

来源（公众号）：大数据AI 智能圈 上周在一个技术交流会上，听到两位技术总监争得面红耳赤。一位坚持说RAG就够了，简单高效还省钱；另一位则认为不微调根本做不出专业应用。 这场争论让我想起很多企业在落地AI项目时的迷茫：到底该选哪条路？ 其实这个问题本身就暴露了一个认知误区。 RAG和微调从来不是二选一的单选题，而是要看你想解决什么问题。就像医生开药，头疼和胃疼用的方子能一样吗？ 先搞清楚它们到底在干什么 有个做金融科技的朋友跟我抱怨，他们公司花了大价钱微调了一个模型，结果每次监管政策更新，就得重新训练一遍。 两个月后他们改用RAG方案，新政策直接扔进知识库，第二天就能用。 这个案例很典型。RAG的工作原理说白了就是给模型配了个外挂搜索引擎。用户问问题时，系统先去向量数据库里找相关文档，然后把找到的内容和问题一起给模型，让它基于这些材料回答。整个过程模型本身一个参数都没变。 这种方式最大的优势是灵活。 我见过一家电商公司，产品库每天更新几百个SKU，用RAG做的客服系统，新品上架五分钟后就能准确回答用户咨询。换成微调的话，这种频率根本扛不住。 再说微调。它是真的在改造模型的内在能力。通过大量标注数据训练，让模型把特定领域的知识和思维方式刻进参数里。这就像是让一个人真正学会一门手艺，而不是拿着说明书照着做。 我认识一位做医疗AI的架构师，他们给诊断助手做微调时，不只是灌医学知识，更重要的是训练模型学会医生的临床思维。 比如看到某几个症状组合，会自动往特定方向追问，这种推理模式是RAG做不到的。 成本上也有意思。RAG前期投入小，搭个系统可能一周就能跑起来。但它是个长期消耗品，每次查询都要调用检索和生成，访问量大了账单也不少。 微调恰好相反，前期需要GPU资源和数据标注的重投入，但训练完成后推理成本相对固定。有家做ToB产品的公司算过账，用户量超过五万后，微调方案反而更经济。 场景才是决定技术的关键 前段时间帮一家制造企业做技术选型咨询。 他们有两个需求：一是建立设备维修知识库，二是优化生产调度算法建议。 我直接建议第一个用RAG，第二个必须微调。 为什么？ 维修知识库的特点是内容多、更新快、需要溯源。老师傅的维修笔记、设备厂商的最新手册、历史故障案例，这些资料每周都在增加。用RAG的话，技术人员上传文档后立刻就能被检索到。而且系统可以明确告诉维修工，这个方案来自哪份文档的第几页，增强可信度。 但生产调度就不一样了。它需要的不是查资料，而是理解生产线的复杂约束，学会平衡效率、成本、交期的权衡逻辑。这种深层次的业务理解，必须通过微调把历史调度数据的规律固化到模型里。 RAG只能告诉你文档里写了什么，微调才能让模型真正学会怎么做决策。 法律行业也有类似的分化。 智能检索用RAG没问题，输入案情关键词，系统从海量判例库里找出相关案件。但如果要做诉讼策略建议，就得微调。因为优秀律师的价值不在于记住多少法条，而在于理解案件的细微差别，预判法官的思路，这需要模型具备真正的专业判断力。 代码生成领域更明显。GitHub Copilot早期版本主要靠预训练模型，效果一般。后来针对各种编程语言和框架做了大量微调，生成代码的质量才有了质的飞跃。它学会了不同语言的惯用写法，理解了项目结构的最佳实践。这种能力是通过RAG检索代码片段拼凑不出来的。 我观察到一个趋势：很多成熟团队在走混合路线。 先微调一个具备领域基础能力的模型，再用RAG补充实时知识。有家做智能投顾的公司就是这么干的，用微调让模型学会金融分析的基本功，用RAG接入最新的市场资讯和研报。两者配合，既专业又及时。 落地时的真实挑战 理论说得再漂亮，落地时总会遇到各种坑。 一位做过多个项目的技术负责人跟我分享了他的踩坑经历: RAG最大的问题是召回质量。 他们做企业知识库时发现，同一个问题换个问法，检索出来的文档可能完全不同。 后来花了大力气优化向量模型和切片策略，才把准确率提上去。 还有个容易忽视的点是知识库的维护成本，文档格式五花八门，清洗和结构化处理比想象中麻烦。 微调的坑更隐蔽。 数据质量直接决定效果，但高质量标注数据往往非常稀缺。 他们给客服机器人做微调时，发现真正有价值的对话案例可能只占总量的百分之十。而且微调容易过拟合，在训练集上表现完美，一到真实场景就翻车。需要反复调整数据配比和训练策略。 还有个现实问题是团队能力。 RAG对工程能力要求高，需要搞定向量数据库、检索优化、Prompt工程这一套。微调则需要懂算法调优、数据工程、模型评估的人。很多中小企业其实两方面的人才都缺，这时候可能先用商业化的RAG方案起步更靠谱。 结语 回到开头那个争论。两位技术总监其实都没错，只是站在各自业务场景的角度得出了不同结论。 RAG的灵活性和微调的专业性，本质上服务于不同层次的需求。 如果你的核心痛点是知识频繁更新、需要溯源、预算有限，RAG是更合理的选择。如果你要打造深度行业能力、追求极致性能、用户量足够支撑成本，微调值得投入。 更多时候，聪明的做法是混合使用，让两种技术各自发挥所长。 技术选型没有银弹。重要的是搞清楚业务本质需求，评估团队能力边界，算清楚长期账本。那些真正把AI用起来的企业，都是在这些务实维度上做对了决策。工具再好，用错了场景也是浪费。 用对了，才能真正释放价值。

让数据变成看得见、管得住、用得好的资产。

数智时代，数据已成为推动科技进步和产业发展的关键要素。2024年10月，国家数据局局长刘烈宏在《人民日报》上刊文指出，充分发挥数据的基础资源作用和创新引擎作用，有利于带动各类生产要素创新性配置，促进各类先进生产要素向发展新质生产力集聚，提升全要素生产率，为发展新质生产力开辟新空间。要加快构建自立自强的数字技术创新体系，依托数据驱动科技创新，持续增强科技实力和创新能力，深化科技与产业融合，推动产业创新。2025年“数据要素×”大赛科技创新赛道紧扣“科学数据赋能科技及产业发展”核心目标，设置一系列极具前瞻性与现实意义的赛题，为行业发展指引新方向。 一、鼓励科学数据汇聚共享：筑牢协同服务网络基石 科学数据是国家科技创新发展和经济社会发展的重要基础性战略资源，科学数据的汇聚共享是实现科学数据价值最大化的基础。本赛题聚焦科学数据开放共享机制，重点关注海量多源科学数据治理、数据安全与隐私保护等场景。当前，重大科技基础设施与项目产生的各类科学数据，亟须有效汇聚与高效治理，才能串联起价值链条。大赛通过打造可信科学数据空间，实现跨领域流通的科学数据协同服务网络，将推动打破数据孤岛，让数据在不同领域间自由流动。发展综合型、智能化、交互式等新型科学数据发现服务模式，将帮助科研人员高效定位数据，推动科学数据有序开放共享和融合利用。 二、推动科技领域人工智能大模型开发：夯实智能创新根基 科学数据的质量和准确性是人工智能大模型开发的关键所在。本赛题聚焦科学数据标注分类、领域大模型预训练、微调与推理应用等，深度挖掘科学数据和文献价值。通过细粒度知识抽取和多源知识融合，构建科学知识资源底座，建设高质量语料库和基础科学数据集，为大模型提供充足“养分”。本赛题将有力支持科技领域大模型的开发训练，提升其理解和解决复杂的科学问题的能力，为科研和技术创新注入强大智能动力。 三、科学数据助力科学研究和技术创新：成为产业升级引擎 跨领域科学数据与人工智能等技术的深度融合，蕴藏巨大创新潜力。本赛题聚焦科学数据成果赋能技术创新和产业发展等场景，推动其全方位、深层次融合应用与挖掘。大赛通过搭建创新交流平台，为科研人员提供高质量的数据资源与知识服务，结合大模型等新技术，助力科研人员突破传统局限，大胆探索未知领域。特别是在生物育种、新材料等重点领域，以数智融合为引擎，驱动科学创新涌现与转化，推动产业升级迈向新高度。 四、科学数据加速科研新范式变革：催生科研新质生产力 AI for Science在各学科领域的研究与落地，标志着科研范式正迎来深刻变革。本赛题依托各类数据库与知识库，借助人工智能、大数据等技术，推进跨学科、跨领域协同创新。数据驱动的科研模式能够发现新规律、创造新知识、发明新方法，推动科学研究方法不断进步。这种变革不仅加速了科学研究范式的转变，更为新质生产力发展注入强大动力。同时，新质生产力的发展为科技创新提供更广阔的应用场景和发展空间。二者相辅相成，协同共进。大赛积极助推科研范式变革，将进一步提升我国在全球科技竞争中的优势地位，推动科技与产业朝着更高水平更具创新性的方向稳步迈进。 科技创新赛道赛题体系完整有机，紧扣科学数据赋能科技及产业发展目标，从汇聚共享、大模型开发到科研创新驱动范式变革，助力培育和发展新质生产力。本次大赛为产学研用搭建展示创新能力的舞台，有望催生一系列具有重大价值的科研成果和产业应用，为国家科技自立自强和高质量发展贡献力量。 作者：周园春 中国科学院计算机网络信息中心副主任 来源（公众号）：北京数据

智能体时代已经到来，已然不是选择题，而是必答题。理解它、掌握它、善用它，将成为未来竞争力的重要组成部分。让我们以开放的心态拥抱这个充满可能性的新时代，在智能体的助力下创造更美好的未来。