为进一步深化智慧城市发展、推进全域数字化转型,充分发挥数据赋能城市经济社会发展作用,近日,国家发展改革委、国家数据局、财政部、住房和城乡建设部、自然资源部组织制定了《深化智慧城市发展 推进全域数字化转型行动计划》。 内容如下: 为贯彻落实党中央、国务院决策部署,进一步发挥数据要素在城市高质量发展中的协同优化、复用增效和融合创新作用,扎实推进城市全域数字化转型,着力建设便捷高效的智慧城市,提升城市治理体系和治理能力现代化水平,更好满足人民群众美好生活需要,制定本行动计划。 一、总体要求 以习近平新时代中国特色社会主义思想为指导,深入贯彻党的二十大和二十届二中、三中全会精神,全面贯彻习近平总书记关于城市工作的重要论述,坚持和加强党的全面领导,认真践行人民城市理念,坚持稳中求进工作总基调,坚持数据驱动、应用导向,统筹发展和安全,把城市作为推进数字中国建设的综合载体,以数据赋能城市经济社会发展全局为重点,以城市数字底座建设为支撑,以适数化改革为保障,推进设施联通、数据融通、平台互通、业务贯通,全领域推进城市数字化转型,全方位增强转型支撑,全过程优化转型生态,提升城市治理智能化精细化水平,为推进现代化人民城市建设注入强大动力。 到2027年底,数据赋能城市经济社会发展取得明显进展,“高效处置一件事”覆盖城市运行重点事件,“高效办成一件事”覆盖高频民生事项,数字经济成为城市发展新动能,在城市智慧高效治理、便捷普惠服务、城市数字更新等重点领域和关键环节取得突破性进展,建成50个以上全域数字化转型城市。超大特大城市率先建成智慧高效治理新体系,落地一批先进可用、自主可控城市大模型。到2035年,涌现一批具有国际竞争力、全球影响力的现代化城市。 二、实施城市智慧高效治理提升行动,提高平急联动协同能力 (一)构建城市智慧高效治理体系。深化“一网统管”建设,构建城市运行体征指标体系,建立数据赋能、分级协作、闭环落实的智慧高效治理机制。鼓励有条件的城市建设数字化城市综合运行和治理中心,探索建立基于智能中枢的多级贯通智能化平台,推进城市运行、综合治理、交通管理、应急管理等系统互联接入,提升监测预警、事件流转、指挥调度、决策支持等核心能力。加强基础平台功能整合、协同发展,完善城市信息模型(CIM)平台。强化实景三维中国数据开发利用。推动国土空间信息模型(TIM)、城市信息模型(CIM)、建筑信息模型(BIM)等在城市管理中的应用。加快城市运行管理服务平台建设,完善城市运行管理工作机制,探索实施全流程数字化报建,推进建立历史文化街区、建筑物、地下管廊等数字档案。构建房屋安全隐患动态监测和智能预警技术体系,提升房屋建筑管理智慧化水平。优化城市交通流量和交通信号灯控制,提高道路通行效率。深化国土空间规划实施监测网络建设,推进国土空间治理数字化转型。推动生态环境监测网络数智化转型,支撑污染防治等绿色低碳数字化应用。 (二)数智赋能城市应急安全保障。鼓励有条件的城市建设城市安全风险监测预警体系,建立公共安全、生产安全、自然灾害等城市风险的信息共享和应急联动机制,提高风险早期识别预警能力。探索利用大模型开展暴雨、台风等极端天气快速综合研判,优化预警信息发布流程,加强提升灾前防范能力。建立覆盖全域、全灾种的城市安全事件应急处置数字化预案库,支持有条件的地区开展多视角、跨领域智慧应急场景仿真推演。推动无人机、机器人等在公共安全、应急救援等领域的应用。 (三)提升民意速办服务效能。推动完善党建引领基层治理体系,健全多元治理力量全过程参与机制。用好市民服务热线等机制,加快整合政务服务、基层网格、12345热线、舆情信访等渠道数据,推进民意速办、接诉即办、未诉先办。坚持依法治市,深化数据赋能网格管理、社区治理、志愿服务和矛盾解纷等数字化应用,提升社情民意实时感知与精准服务水平。建立健全基层报表“一数一源”“统采共用”机制,有序推进基层信息填报渠道整合,探索拓展信息社会化、自动化采集等新模式。 三、开展数字美好生活行动,助力民生服务精准普惠 (四)推进智惠公共服务。支持各地增加“一网通办”特色事项,推动银行、医院、电信等更多公共服务集成办理,压减整体办理时长和跑动次数。加快拓展医疗电子处方流转、费用一站结算、诊疗数据共享等应用场景,推广远程会诊、检查检验结果互认等服务。发展健康管理、保险快速理赔等数据融合应用。推进人工智能全学段教育和全社会通识教育,拓展“人工智能+教育”“一网通学”等应用场景。加快推进社会保障卡居民服务“一卡通”跨省通用、一卡多用、线上线下融合发展。 (五)发展智创品质生活。打造数字赋能文旅、体育、数字消费等新型数字生活场景,推动人工智能在消费场景应用。强化数智技术在文旅内容创作、场景生成、导游导览等方面的创新应用,推进博物馆文物、古籍文字、历史建筑等文化遗产活化利用。加快推进体育场馆等文体设施数字化改造,推进健身场地共享共用。推动传统商圈数字化改造,打造智慧商店、人工智能产品体验店等数字消费新场景,积极发展消费新业态。鼓励有条件的地区开发碳足迹核算、碳交易等创新应用。支持建设城市跨领域信用服务体系,实现医疗、出行等服务信用认证、无感畅享。 (六)优化数字友好人居环境。利用数据分析精准识别老年人、儿童、残障人士等群体服务需求,持续推动城乡公共空间、数字服务适老化、适幼化和无障碍改造。推进医疗机构、康养机构、托育服务机构、家政机构数据有序共享、开发利用,强化“一老一小”公共服务资源一站式集成,推进助餐、助洁、助急等个性服务。开展覆盖全民的数字素养和技能培训,实施城市间结对数字帮扶行动,推动人才、资金、技术等资源跨区域、跨城乡流动,弥合数字鸿沟,促进城乡融合。 四、实施数字经济赋能行动,激发产城融合新动能 (七)推进数据要素价值化实现以城带产。发挥城市产业集聚、人才集聚、数据集聚优势,强化场景开放创新,促进城市数据资源汇聚;加快培育数据要素市场,打造数据产业创新发展高地,推进数据产业与低空经济、无人驾驶、具身智能等数据密集型产业融合发展。支持有条件的地区培育城市可信数据空间,推动公共数据、企业数据、个人数据融合应用,推动数字产业发展。因地制宜发展“数据即服务”“模型即服务”等新业态,培育数字经济创新型企业,打造具有生态引领力的行业龙头企业。探索发放数据券、模型券等奖补机制,降低企业创新投入成本。 (八)发展数字经济推动以产促城。利用数字技术推动闲置商业楼宇、老旧厂区、老旧街区等功能改造,打造数据创新创业载体,建立数据创新型产业社区、商务社区。依托产业园区构建数字公共服务体系,建设数字化转型产品和解决方案资源池,推动传统产业、新兴产业、未来产业科技创新成果落地实践,打造城市首试首用体验场。支持有条件的地区和城市群发展数据产业集聚区,探索数据保险、数据信托等金融服务产品,梯次培育数字产业集群。加强现代化城市群和都市圈数字化协同发展,支持有条件的地区推动数据要素互联互通,数字服务跨区共享。 (九)推动城市经济智慧调度监测。构建城市经济运行协同调度与监测体系,推动产业发展、消费就业、物价波动、项目投资、金融运行等多元数据的全域汇聚与智能分析,构建经济监测预警模型,提升宏观经济前瞻研判能力。建立企业服务支撑体系,利用多维数据画像,实现惠企政策精准直达、产融高效对接。支持有条件的地区开展城市数字经济监测分析。 五、推动城市数字更新行动,改善提升人居环境品质 (十)加快城市基础设施数字化更新改造。有序实施城市泛在感知工程,在管道泄漏爆管风险点、道路边坡风险点、地质灾害易发点、防洪排涝关键节点、易涝积水点、城市桥梁隧道等风险高发区域,统一规划、集约部署城市智能感知终端设备。运用人工智能等技术深化城市生命线安全工程建设,推动城市燃气、供水、排水、供热、桥梁、隧道、综合管廊等基础设施数字化改造和智能化管理,加强城市道路塌陷隐患排查整治。建立健全数字基础设施和市政基础设施同步规划、同步建设机制。支持有条件的地区适度超前布局低空数据基础设施,支撑城市巡检、物流配送、生产作业等场景,推动智能化路侧基础设施和云控基础平台建设,提升车路协同水平。 (十一)深化智慧社区建设。支持有条件的地区改造建设一批高品质智慧社区,完善社区嵌入式服务设施,按需配置、优化升级社区数字服务能力,发展智慧物业。打造数字惠民服务生活圈,完善一站式托育助老、亲子阅读、社区康养等服务的幸福邻里综合体。建设智能充电桩等便民设施,加快停车设施智能化改造和建设,推广高楼消防预警、高空抛物监测、电动自行车智能阻止等数字应用。推进绿色智能建筑建设,深化全屋智能应用,探索推动具身智能机器人进社区、进家庭。面向群众开展“问需于民”等活动,鼓励居民、企业、社会组织等多元主体积极参与智慧社区设计、建设和运营。 六、实施数字化转型筑基行动,打造统筹集约数字底座 (十二)建设城市数字基础设施。集约建设感知、网络、算力等基础设施,实现城市“物联、数联、智联”。构建高效弹性的数据传输网络,促进不同平台、专网间数据高速传输、互联互通。按照统一目录标识、统一身份登记、统一接口要求建设和运营城市数据基础设施,鼓励城市间数据基础设施互联互通,促进数据跨域高效流动。在国家算力资源统筹规划下,持续优化热点应用区域需求保障,有效统筹本地异构、异属算力设施,优化改造城市内“老旧小散”算力设施,面向社会提供普惠便利的数据服务。支持低空经济、自动驾驶等产业发展热点城市,建设低时延、高频率、高可靠、高安全推理算力。 (十三)强化数据资源供给。探索建立动态更新的城市公共数据资源目录,逐步构建公共数据“一本账”,加强整合共享、开放开发、授权运营,推动公共数据资源管理标准化、规范化。开展数据智能分类与标注,构建行业知识库、高质量数据集。建立城市数据资源体系,完善城市基础信息库,按需建设主题库和专题库,强化政务数据回流,促进跨层级、跨地域、跨系统、跨部门、跨业务政务数据安全有序高效共享利用。 (十四)完善城市智能中枢。构建统一规划、统一架构、统一标准、统一运维的城市智能中枢,健全云网、感知、组件、数据、算法模型等一站式管理与调度。加强城市数据汇聚治理,有序融合城市运行感知、政务服务、市场主体等多元异构数据,深化数据融合利用。打造城市共性技术能力支撑体系,推进数字孪生等共性功能组件共享复用。加强人工智能公共服务能力建设,探索集约构建多模融合的城市大模型,打造城市智能体应用。鼓励超大特大城市有序推进人工智能赋能全域转型。 (十五)筑牢数字化转型安全防线。强化网络安全、数据安全防护能力。健全政务云网安全保障体系。加强城市数据基础设施安全保障,实现可信接入、安全互联、跨域管控、全栈防护等安全管理。推进数据安全治理,建立健全数据安全风险防控体系,强化城市数据分类分级保护和全生命周期安全管理,完善数据安全制度规范,加强个人信息保护,压实各类主体安全责任,提升数据安全保护水平。 七、开展适数化改革创新行动,破除数字化转型制度堵点 (十六)推进城市治理适数化改革。充分利用城市智能中枢,创新跨部门数据合作机制,构建线下网格与线上网络联动协同机制,支持有条件的城市探索构建数字赋能的城市综合治理体制,明确权责划分、优化城市管理流程,推进跨部门、跨层级高效协同联动。开展有利于数字化转型的数据确权规则、数字权证应用、行政管理、政府采购等制度改革。 (十七)创新长效运营运维模式。建立城市数据运营、场景运营、设施运营的立体化运营体系,探索建立以用户满意度等应用效果为导向的运营预算和评价考核机制。建立运营运维评价动态反馈和发布机制,强化运营运维评价结果运用。 (十八)建立健全标准体系。发挥标准的基础性、引领性作用,加快形成涵盖数字底座、转型场景、运营运维等标准规范体系。建立城市全域数字化转型成熟度标准,促进城市数字化转型规范化、高质量发展。制定城市全域数字化转型规划咨询、建设实施、运营运维三类服务主体评价标准,形成闭环管理体系。 八、组织实施 国家数据局会同有关部门加强工作指导,分类分级有序推进城市全域数字化转型,强化部门协同、上下联动,确保重点任务落地见效。支持各地面向城市全域数字化转型重大需求、重大场景和重大改革,建立健全高层级统筹推进机制。鼓励各地加强交流合作,量力而行、因地制宜,统筹利用各类资金,加大对全域数字化转型的技术攻关、重大项目、试点试验等方面的支持。强化数字化转型、数据合规、数据服务等专业人才队伍建设。加强城市数字化转型优秀实践、典型案例提炼推广。深化城市全域数字化转型国际交流合作。 来源(网站):国家数据局
2025-11-07 14:31 432
数据标准的宗旨在于为业务、技术及管理提供全方位的服务与支持。数据标准构成了实现数据驱动管理和数据驱动创新的坚实基础,数据治理必须要过数据标准管理这一关! 一、三个方面认识数据标准 1.业务方面 数据标准是解决数据不一致、不完整、不准确等问题的关键基础。各业务部门对数据形成统一的认知和理解,消除数据的“二义性”,从而提升业务的规范性,降低因数据不一致而产生的沟通成本,进而提高业务处理效率。 2.技术方面 统一标准化的数据及其结构是信息共享的基石。标准的数据模型和标准数据元为新建系统提供有力支撑,显著提升应用系统开发及信息系统集成的实施效率。此外,数据标准为数据质量规则的建立和稽核提供了重要依据,是数据质量管理不可或缺的输入。 3.管理方面 通过对业务术语、主数据、参考数据及指标数据等定义统一的标准,为精准数据分析奠定坚实基础。统一的数据标准使业务人员能够轻松获取数据,从而为数据分析和数据挖掘创造可能。 二、数据标准的四项内容 一套完善的数据标准体系是数据管理和应用的基础,有助于实现数据底层的互联互通,提升数据的可用性,消除数据业务中的歧义。数据标准通常涵盖四个方面的内容: 1.数据模型标准 数据模型标准对每个数据元素的业务描述、数据结构、业务规则、质量规则、管理规则及采集规则进行详尽的定义,以确保数据具备可理解性、可访问性、可获取性和可用性。数据模型不仅体现了对业务的理解和定义,还能有效构建组织内部及组织间的沟通桥梁。此外,数据模型有助于识别缺失和冗余数据,并在ETL过程中精准记录数据映射。 在设计数据模型标准时,需重点考虑以下方面: 首先,是否符合设计规范,如遵循统一命名规则、确保元数据与数据的一致性; 其次,实体和属性的含义是否定义清晰且准确; 第三,术语和标准是否与实际情况相符,包括数据名称、属性和规则等; 最后,是否便于查阅,布局是否合理。 2.基础数据标准 基础数据构成系统的数据字典。在系统初始化阶段即已嵌入系统数据库,扮演着结构性和功能性支撑的角色。基础数据标准通常涉及国际标准、国家标准及行业标准。在定义数据实体或元素时,可引用相关标准,并依据组织部门实际需求持续补充完善、更新优化和积累,从而更有效地支撑业务应用开发、信息系统集成及企业数据管理。 基础数据标准包含业务、技术和管理三大属性: 业务属性:描述基础数据业务信息,供业务人员理解,包括标准主题、分类、编码、中英文名称、业务定义、规则、引用标准、来源及依据等; 技术属性:描述技术信息,支持系统实现,涉及数据类型、格式、长度、编码规则、取值范围等; 管理属性:描述管理信息,便于数据管理操作,涵盖定义者、管理者、使用者,以及版本、应用领域、使用系统等。 3.主数据与参考数据标准 主数据是用于描述核心业务实体的数据,如教师、学生、财务、教学、资产等。它具有高业务价值,能在学校内跨业务部门重复使用的“核心数据”。 参考数据则是用于将其他数据进行分类或目录整编的数据,规定了数据属性的域值范围。主数据标准包括主数据分类、主数据编码和主数据模型。主数据分类依据主数据的属性或特征,按照一定原则和方法进行区分和归类,建立相应的分类体系和排列顺序。主数据编码是为事物或概念(编码对象)赋予具有规律性、易于计算机和人识别处理的符号,形成代码元素集合。 4.指标数据标准 学校各业务域和部门设有业务指标,部分指标名称相同但业务含义不同,部分指标名称差异大却指向同一内容。若不进行指标数据标准化处理,同一指标在不同系统统计结果可能不同且难辨准确结果,构建或变更分析主题时需重新定义指标,耗费大。此外,当前大数据分析倡导业务人员自助分析,若无指标数据标准,业务人员难从不同系统获取所需数据,自助式分析难以实现,数据分析报告沦为空谈! 指标数据标准是基于实体数据,通过增加统计维度、计算方式、分析规则等信息加工而成的数据。它对业务指标所涉及的指标项进行统一定义和管理。指标数据标准与基础数据标准相似,同样涵盖业务属性、技术属性和管理属性三部分: 业务属性:包括编码、中英文名称、主题、分类、类型、业务定义、业务规则、数据来源、取数规则、统计维度、计算公式、显示精度及相关基础数据标准等。 技术属性:涵盖来源系统、使用系统、数据源表、数据类型、度量单位、取值范围、生成频度、计算周期、取数精度等。 管理属性:涉及归口管理部门、业务和技术负责人、权限范围等。指标数据标准化适用于业务数据描述、管理、分析和可视化,促进业务部门间、业务与技术间形成共识。 三、推进数据标准的六个阶段 数据标准管理从需求发起到落地执行,通常需经过标准梳理、标准编制、标准审查、标准发布和标准贯彻及管理办法的发布六个阶段。 1.数据标准梳理 根据行业标杆经验和本校实际确定实施范围,制定数据标准优先级和难易度。梳理和定义数据标准步骤如下: 首先,依业务划分业务域,识别关键业务活动并梳理定义,处理活动输入输出的业务单据和用户视图,梳理其数据对象; 其次,分析数据对象,明确所含数据项,提炼业务域的数据指标和数据项,定义数据元标准,详尽描述业务逻辑; 第三,梳理抽象数据实体和指标的关联关系,定义数据间关系,明确数据对象的数据关系; 第四,经上述梳理分析定义,确定企业数据标准管理主体范围,基于系统逻辑归纳抽象,形成数据标准模型,此过程可能涉及数据对象的合并或拆分。 2.数据标准编制 数据标准编制是依业务需求和数据管控要求,对数据对象及其数据项明确定义的过程,涵盖数据项名称、编码、类型、长度等方面。编制可参考国际、国家或行业标准,也可依本校业务需求制定校级标准。数据标准制定分三步实施: 标准制定推进会:召集相关干系人开会推进数据标准制定,讨论标准定义,标识记录数据对象、业务术语和关键指标,得出精确定义以达成共识。该方法有助于识别对象、定义标准、提升效率,解决含义不清和歧义问题。 标准差异专项分析:先查询数据标准是否已有定义,若有则结合需求确定附加信息或修改定义,形成完整可接受的元数据定义和规范。若存在多对象标准,分析是否一致,接受、修改或创建定义以达成共识,删除多余定义。 标准影响风险评估:数据标准管理易出现新旧系统、部门和业务冲突,处理不当会致标准化失败。落地时要做好影响评估和干系人沟通,通过业务影响分析识别对业务的影响范围、程度、价值及风险,确定业务人员可接受范围和程度,为后续沟通做准备。 3.数据标准审查 审查数据标准初稿,评估其是否符合应用、管理需求及数据战略要求,直至满足发布条件。数据标准审查从需求符合性、实用性等方面综合判断是否契合需求与管理现状。 数据标准征集意见:拟定初稿广泛征集意见,降低不可用或难落地风险,包括初步培训和宣贯。征求意见设期限(依业务范围定),规定时间无意见则默认接受。 数据标准专家评审:标准制定和执行依赖专家团队,成员需深入了解业务领域,提供权威定义建议、解决歧义。执行中协调解决部门争议,完善标准体系。 4.数据标准发布 数据标准意见征集工作完成后,经过严格审查,正式发布数据标准。数据标准一旦发布,各部门及各业务系统必须严格遵循执行。对于遗留系统的存量数据,存在一定风险,应进行全面的影响评估,以妥善应对潜在问题。 5.数据标准贯彻 数据标准的贯彻是将已发布的数据标准应用于信息系统建设和改造,消除数据不一致性。将数据标准与业务系统映射,明确标准与现状关联,识别受影响应用。对于新建系统,直接采用已定义的数据标准;旧系统则建立数据映射关系、进行转换,逐步落地标准。同时,要加强对业务人员的数据标准培训和宣贯。宣贯方法有: - 文件传阅:以正式文件发布数据标准供各部门传阅,作为数据维护参考。 - 集中培训:制定培训计划,落实场地等开展宣贯培训,学员反馈心得,老师总结经验。 - 专题培训:针对不同业务领域开展专题培训,通过上机实操强化效果,推动标准落地。 6.数据标准管理办法 数据治理应结合实际情况,制定科学的数据标准管理办法。该办法旨在提供规范性的指导和约束,保障前期数据标准的顺利落地与有效执行。 一份完整的数据标准管理办法通常涵盖但不限于以下内容:数据标准的目的、适用范围及具体细则,数据标准的管理组织架构、管理流程、执行要求、考核机制以及附则等。 四、数据标准的四个常见误区 数据标准管理核心目标是确保信息系统建设和集成遵循标准,保障数据标准完整适用并有效执行。贯彻数据标准要在业务部门和信息系统逐步推行,争取管理层与系统开发部门支持配合。 1.业务驱动,不可一意孤行:数据标准源于业务、归于业务,本质是管理问题,应从业务层面解决。建立数据标准是为促进系统数据互通和业务部门共识,制定时要逐个业务域梳理,靠业务人员努力,技术工具用于固化执行。 2.循序渐进,不可急于求成:从价值链和业务流程角度分段实施数据管理标准,结合业务需求、系统改造和新系统建设契机,选合适落地范围和层次,优先解决紧迫问题,明确业务部门数据职责,确保数据与业务流程匹配。 3.动态管理,不可一劳永逸:数据标准管理要保持定义、设计和使用一致,但标准并非固定不变。新业务需增标准,无价值标准要废弃,数据变化时标准要与时俱进、有前瞻性,建立更新体系和治理平台,有序管理版本。 4.应用为王,不可断章取义:数据标准化是信息化建设基石,工作要着眼信息系统规划、应用方向和需求,做到标准统一。高质量标准化为后续分析建模奠基。建设标准要服务业务、提升效率,结合IT 系统现状,以应用为目标,以国标、行标为基础,减少对现有系统影响,确保标准实用有效,回归业务应用。 五、小结 数据治理的成功很大程度上取决于数据标准的合理性和统一实施程度。数据标准体系构建的过程是信息化部门推进技术与管理深度融合的过程,不仅考验信息化部门的专业化水平,更考验工作人员沟通协调能力。 来源(公众号):数智转型洞察
2025-11-06 14:48 449
“您是否知道,许多‘小型’人工智能模型在性能上优于较老、较大的模型——而且仅使用了一小部分资源?” 想象一下,直接在你的智能手机上运行强大的AI助手,无需访问云端,即可在几毫秒内处理你的请求。这并非科幻小说——小语言模型正在将这一切变为现实,触手可及。 连续三年,人工智能界一直痴迷于一个简单的等式:越大越好。 科技巨头们投入数十亿美元构建庞大的语言模型,每一个模型都比上一个更大: •据传拥有万亿个参数的 GPT-4 •克劳德拥有数千亿 •Meta 的 LLaMA 突破极限,达到 700 亿 每一次突破似乎都遵循同样的模式——更多的参数、更大的功率、更多的可能性。 但2025年发生了一件意想不到的事情。 一 改变一切的剧情转折 随着企业人工智能部署从概念验证阶段过渡到生产阶段,一个令人惊讶的事实浮出水面:越大并不总是越好。 英伟达一项突破性研究表明,40%至70%的企业级人工智能任务可以通过小型语言模型(SLM )更高效地处理——这些紧凑而强大的模型参数少于100亿,具有以下特点: ✓速度比同类巨型设备快 10 倍 ✓部署和维护成本降低 5-20 倍 ✓更可靠,适用于特定业务任务 ✓设备端处理,注重隐私 大型语言模型(LLM)曾经需要昂贵的GPU来运行推理。但最近的进展为经济高效的CPU部署打开了大门,尤其对于小型模型而言。三大变革促成了这一转变: 1.更智能的模型——SLM 的设计旨在提高效率并不断改进。 2.CPU 优化运行时— llama.cpp 、GGUF等框架以及 Intel 的优化可实现接近 GPU 的效率。 3.量化——将模型从 16 位 → 8 位 → 4 位转换,可以大幅减少内存需求,并在几乎不损失准确性的情况下加快推理速度。 二 认识一下小型语言模型 当各大媒体都在追逐最新的十亿参数里程碑时,小型语言模型正在悄然赢得真正的胜利——实际业务部署。 1.市场信号:智能体人工智能正在蓬勃发展 据英伟达称,智能体人工智能(多个专业人工智能代理协作的系统)市场预计将从2024 年的 52 亿美元增长到 2034 年的 2000 亿美元。 2.思想领袖视角:40倍的增长代表了近年来最快的技术普及速度之一。这对企业高管来说意义重大:未来十年人工智能的发展将取决于普及规模,而非参数规模。 3.技术视角:要达到这种规模,人工智能必须从云端转移到边缘环境——智能手机、工厂车间、零售设备、医疗仪器等等。而这只有通过服务层级管理(SLM)才能实现,因为它们对计算和内存的需求更低。 三 快速演化时间线 语音语言模型的发展历程与自然语言处理(NLP)的发展紧密相连: •2017 年之前:基于规则和统计的模型像n-gram和word2vec 这样的模型捕捉到了基本的词语关联,但缺乏深入的理解。 •2017 年:Transformer 革新了 NLP Transformer 架构 的引入(在著名的“Attention is All You Need”论文中)使得深入的上下文理解成为可能。 •2018–2020 年:大型语言模型诞生 BERT、GPT-2 和 T5 带来了数十亿个参数,达到了最先进的基准。 •2021-2023 年:规模之战 OpenAI、Google、Anthropic 等公司通过将模型规模扩大到数百亿甚至数千亿个参数来展开竞争。 2023年至今:小即是美时代。 随着效率成为首要考虑因素,企业开始训练诸如LLaMA、Mistral、Phi、Gemma和TinyLLaMA等紧凑型模型,这些模型可在笔记本电脑、边缘设备甚至手机上运行。 四 小型语言模型究竟是什么 在了解 SLM 之前,我们先来了解一下什么是语言模型(LM)。 1.语言模型(LM) 一种经过训练的人工智能系统,能够通过预测序列中的下一个单词来理解和生成类似人类的文本。 2.小型语言模型(SLM) 一种轻量级的语言模型,参数更少,针对特定任务或设备端任务进行了优化,成本更低,性能更快。 •参数范围:通常为 1 亿至 30 亿个参数。 示例:认识小型人工智能领域的明日之星 3.大型语言模型(LLM) 一种功能强大的语言模型,拥有数十亿个参数,在海量数据集上进行训练,能够处理复杂的通用任务。 •参数范围:通常为 100 亿到 1 万亿以上参数。 例如:LLaMA 3 70B → 700亿、GPT-4 → 估计约 1 万亿、克劳德3号作品 → 数千亿。 大型语言模型 (LLM) 提供一流的推理能力,但需要大量的计算、内存和存储空间。而小型语言模型 (SLM) 则针对速度、效率和设备端使用进行了优化。LLM 能够处理广泛而复杂的任务,而 SLM 则擅长特定任务,能够更快地获得结果并降低成本。得益于量化和 GGUF 格式等技术,SLM 现在无需依赖昂贵的云基础设施即可为实际应用提供支持。 你可以把LLM和SLM的区别理解为: •大学图书馆藏书量(LLM)与专业专家的个人藏书量(SLM) •一把拥有100种工具的瑞士军刀与一把用于手术的精密手术刀。 4.其他值得了解的LM (1)检索增强型语言模型(RLM) 这是一种混合语言模型,它结合了语言生成和从外部来源(例如数据库、知识库或网络)实时检索信息的功能。这使得模型无需重新训练即可访问最新、真实且特定领域的数据,从而提高准确性并减少错误预测。 主要特性:集成检索(搜索)和生成(响应)。 参数范围:取决于基础模型——可构建于 SLM 或 LLM 之上。 示例:ChatGPT 与 Browse / GPT 与 RAG 集成;Perplexity AI(基于 RAG 的搜索助手);Microsoft Copilot(带图形检索功能);基于 LlamaIndex 或 LangChain 的 RAG 系统。 (2)中等语言模型(MLM) 中等语言模型 (MLM) 的规模介于小型语言模型 (SLM) 和大型语言模型 (LLM) 之间,通常包含 10 亿到 70 亿个参数,旨在平衡通用性和效率。它比小型语言模型更能有效地处理复杂任务,同时又比大型语言模型更经济高效。 主要特点:具有广泛的通用性,计算需求适中,通常采用 8 位量化进行优化。 参数范围:10 B–70 B 参数。 示例:Meta LLaMA 3 13B、Mistral Mix Medium 13B、Falcon 40B、GPT-3.5 Turbo(~20 B)。 ⚙️ SLM 的特性 •参数更少— 通常少于30 亿个参数,使其结构紧凑、重量轻。 •快速推理— 即使在 CPU 或消费级 GPU 上也能快速运行,延迟低。 •资源高效——需要更少的内存、计算能力和能源——非常适合边缘设备或本地部署。 •特定任务— 通常针对特定领域或特定任务进行微调(例如,客户支持、代码补全)。 •注重隐私——可在本地运行,无需将数据发送到云服务器。 •成本效益高——与大型模型相比,训练、部署和维护成本更低。 •更易于微调— 针对特定用例进行定制的速度更快、成本更低。 •便携易部署— 易于分发和集成(尤其是GGUF 格式)。 •环保——由于计算需求减少,碳足迹更低。 SLM也存在一些风险,下图详细比较了 SLM 和 LLM 的风险。 神奇之处不仅在于参数数量,更在于智能优化技术,这些技术使这些模型能够发挥远超其自身级别的性能。 五 SLM成功背后的技术创新 助力SLM部署的三项突破性技术 SLM 的兴起并非偶然。三大技术变革使得成本效益高的 CPU 部署成为可能,尤其适用于小型型号: 1. 更智能的模型架构:SLM 利用知识蒸馏等先进的训练技术,使较小的“学生”模型能够从较大的“教师”模型中学习,在参数减少 40% 的情况下,仍能保持 97% 的性能。微软的 Phi-3 系列便是这种方法的典范,在消费级设备上运行时,其性能可与 700 亿参数模型相媲美。 2. CPU 优化的推理运行时:围绕 llama.cpp、GGUF 和 Intel 优化技术的生态系统彻底改变了本地 AI 部署方式。这些框架在标准 CPU 上实现了接近 GPU 的效率,使 AI 无需昂贵的硬件投资即可普及。 3. 高级量化技术 或许最具变革性的创新是量化——将模型从 16 位转换为 8 位再转换为 4 位精度。这显著降低了内存需求,并在精度损失最小的情况下加快了推理速度。 六 混合部署模式 企业正在将两者结合起来,构建混合架构,以优化不同的使用场景。 •大语言模型:负责处理复杂的推理、战略规划和创造性任务 •SLM执行器:管理高频次、特定任务的操作,例如客户支持、数据处理和监控 这种方法既能实现最佳资源分配,又能保持复杂工作流程所需的智能性。 GGUF革命:让AI真正便携 GGUF(GPT生成的统一格式)值得特别关注,因为它代表了我们部署AI模型方式的范式转变。与针对训练优化的传统模型格式不同,GGUF是专门为提高推理效率而构建的。 GGUF的主要优势包括: 单文件可移植性:运行模型所需的一切都高效打包。 •混合精度:智能地为关键权重分配更高精度,而在其他部分使用较低精度。 •硬件灵活性:在 CPU 上高效运行,同时允许 GPU 层卸载 •量化支持:支持 4 位模型,在保持质量的同时大幅减小模型尺寸。 ✅理想的CPU部署配置: •8B参数模型 → 量化到4位时效果最佳 •4B参数模型 → 量化到8位时最优 一个实际的例子:将 Mistral-7B Instruct 量化为 Q4_K_M 格式,可以在配备 8GB 内存的笔记本电脑上流畅运行,同时提供与规模更大的云端模型相当的响应。 七 在本地运行 AI:构建本地 AI 执行架构 步骤 1:基础层 •GGML — 用于高效 CPU 操作的核心张量库 •GGUF — 轻量级二进制格式,支持混合精度量化 •结果:模型存储占用内存最小 步骤 2:推理运行时层 •llama.cpp — 具有原生 GGUF 支持的 CPU 优先引擎 •vLLM — GPU 到 CPU 的调度和批处理扩展 •MLC LLM——跨架构编译器和可移植运行时 •结果:在不同硬件上实现低开销模型执行 步骤 3:部署框架层 •Ollama — 用于无头服务器集成的 CLI/API 封装 •GPT4All — 桌面应用程序,内置 CPU 优化模型 •LM Studio — 用于拥抱脸模型实验的图形用户界面 •结果:简化部署和用户交互 第四步:绩效结果 •低于 200 毫秒的延迟 •低于 8GB 内存要求 •端到端量化管道 •最终结果:实现本地和边缘人工智能推理的民主化 八 实际应用:SLM 的优势所在 1.边缘计算和物联网集成 SLM 最引人注目的应用场景之一在于边缘计算部署。与依赖云的 LLM 不同,SLM 可以直接在以下环境中运行: •用于实时翻译和语音助手的智能手机和平板电脑 •用于即时异常检测的工业物联网传感器 •用于符合隐私保护规定的患者监护的医疗保健设备 •用于瞬间决策的自动驾驶车辆 •用于离线语音控制的智能家居系统 边缘部署的优势远不止于便利性。它能消除延迟,通过本地处理确保数据隐私,即使在网络连接不佳或中断的情况下也能保证持续运行。 2.企业成功案例 医疗保健:医院部署 SLM 以提供实时诊断辅助,处理敏感的患者数据,而无需承担云传输风险。 机器人技术:制造工厂使用 SLM 在工业自动化中进行自主决策,从而能够对不断变化的情况做出即时反应。 金融服务:银行利用特定任务的 SLM 进行欺诈检测和交易处理,与基于 LLM 的解决方案相比,可节省 10 到 100 倍的成本。 智能人工智能的经济学:SLM 与 LLM 成本分析 在单层模块 (SLM) 和层级模块 (LLM) 之间进行选择,对财务的影响非常大。请看以下实际成本比较: LLM部署(每日1000次查询): •API费用:每月3000-6000元 •基础设施:依赖云的扩展 •延迟:平均响应时间为 500–2000 毫秒 SLM部署(相同工作负载): •本地部署:每月 300-1200 元 •基础设施:一次性硬件投资 •延迟:平均响应时间为 50–200 毫秒 结果如何?SLM部署可以节省5-10倍的成本,同时提供更快的响应时间和更强的隐私控制。 或许,SLM 最深远的影响在于普及人工智能的使用。通过降低计算需求,SLM 可以实现: •小型企业如何在没有企业级预算的情况下部署人工智能解决方案 •个人开发者可以在消费级硬件上试验人工智能应用 •教育机构无需昂贵的云服务额度即可教授人工智能概念 •注重隐私的组织将在实施人工智能的同时保持数据控制权 这种民主化正在促进以前服务不足的市场和应用场景的创新。 九 展望未来:SLM的未来 SLM 的发展轨迹预示着几个令人振奋的发展方向: 模块化人工智能生态系统:我们正在从单一的模型转向由专门的SLM(系统生命周期管理)协作的系统,每个SLM都针对推理、视觉或编码等特定任务进行了优化。 绿色人工智能:SLM 的能源需求较低,因此对可持续人工智能部署至关重要,从而减少了人工智能广泛应用带来的碳足迹。 移动人工智能革命:移动芯片设计和SLM优化技术的进步使得无需云连接即可在智能手机上直接实现复杂的人工智能。 行业特定智能:我们看到,针对医疗保健、法律、金融和科学应用领域进行微调的特定领域 SLM 正在涌现,它们在专业任务中表现优于通用 LLM。 小结:静悄悄的革命仍在继续 小型语言模型正在重塑人工智能的部署方式,它将智能从云端转移到我们口袋里的设备、工厂车间的传感器以及真正做出决策的边缘系统。企业不再追求规模越来越大的模型,而是拥抱更智能、更高效的基础架构。到2025年,企业能否成功取决于它们采用这种易于上手且可持续的方法的速度。归根结底,人工智能的未来不在于规模,而在于智能,在这方面,小型模型往往比大型模型表现更出色。 人工智能领域正在飞速发展,及时了解这些变化对于做出明智的技术决策至关重要。小型语言模型不仅代表着一种技术趋势,更是对人工智能如何融入我们日常工作流程和业务流程的根本性重新构想。 来源(公众号):数据驱动智能
2025-11-05 14:51 520
标题:The Limits of Obliviate: Evaluating Unlearning in LLMs via Stimulus-Knowledge Entanglement-Behavior Framework 日期:2025-10-29 机构:University of Southern California, Indiana University 链接:http://arxiv.org/pdf/2510.25732v1 一句话总结:本文提出刺激-知识纠缠-行为框架,证明大语言模型的遗忘通常只是抑制:说服性提示能利用潜在知识唤醒本应遗忘的信息,且该效果与模型规模呈负。 为何AI的“遗忘”如此困难? 在人工智能飞速发展的今天,我们常关注模型能学到什么。但它们需要忘记什么?这种“遗忘”能力——即移除敏感数据、纠正错误信息或删除受版权保护内容——已成为大语言模型(LLMs)的关键能力。然而,实现真正彻底的遗忘远比听起来困难。这个过程并非像从硬盘删除文件那么简单。 类比人类认知,机器遗忘似乎反映了我们如何遗忘记忆。被遗忘的记忆并非总是被抹去;更多时候只是被抑制,潜伏着直到特定触发条件使其重现。同样,当LLM“遗忘”信息时,未必会将其从神经网络中切除。相反,知识往往仍存在于错综复杂的概念网络中。这种现象被研究称为“知识纠缠”,其根源可追溯至赫布理论等认知原则——该理论著名论断是“同步激发的神经元会连接在一起”。试图精准移除某一信息可能残留痕迹、激活相关(有时是错误的)联想,甚至导致模型产生幻觉。因此,评估遗忘效果仍是一个开放性问题,因为仅通过直接提问不足以确认信息是否真正消失。 SKEB框架:审视LLM记忆的新视角 为系统研究遗忘的局限,研究者提出了刺激-知识纠缠-行为(SKEB)框架。这一新方法通过结构化方式理解并预测“被遗忘”知识何时可能复苏。该框架基于一个连接认知科学与传播理论的简洁而有力的公式: 刺激知识纠缠行为 解析这三个要素: 刺激: 指对模型的提示输入。关键的是,SKEB不仅考虑提示的内容(询问什么),还关注其表达方式——即提问所使用的修辞或说服性框架。 知识纠缠: 指模型内部信息的底层语义结构。正是这种密集互联的概念网络使得定向擦除异常困难。 行为: 模型可观测的输出——即针对刺激生成的文本。 如论文图2所示,SKEB融合了认知科学的扩散激活理论与传播理论的说服原则。该框架使我们能超越“模型能否回忆X?”这类二元问题,转而探讨更精细的命题:“在何种传播条件下X会复苏?这揭示了遗忘过程的哪些完整性特征?” 破解遗忘:说服技术如何唤醒隐藏知识 如果遗忘仅是抑制,我们能否通过“破解”手段还原本应被遗忘的信息?研究对此进行了验证。研究者让多个LLM通过遗忘算法“忘记”整个《哈利·波特》系列内容,随后不仅使用直接提问,更通过巧妙设计的说服性提示来探测这些已遗忘模型。 结果令人震惊。研究采用三种主要说服技术(详见论文表1): 情感诉求: 使用情感化语言构建提示(如“用颤抖的声音…哈利问道…”) 逻辑推理: 将查询呈现为逻辑论证的一部分 权威背书: 借助权威人物使请求合法化(如“作为资深权威…他表示…‘答案显然是…’”) 如图1所示,不同框架产生显著差异效果。研究发现说服性提示显著提升事实知识召回率,当采用权威框架时,事实召回率从基线14.8%跃升至24.5%。 这表明知识检索效果关键取决于刺激的传递方式,而不仅是内容。 有趣的是,研究还发现不同框架会产生不同副作用。例如图7显示,虽然情感提示在召回事实方面效果欠佳,却能最有效抑制幻觉产生。这表明模型在面对情感操纵时会进入更保守或“安全对齐”状态。 机器幽灵:理解知识纠缠的本质 被遗忘知识的“幽灵”潜藏于机器纠缠的记忆中。为可视化并量化这一现象,研究者构建了《哈利·波特》系列的“领域图谱”(图3),基于书籍共现关系映射1,296个实体(角色、地点等)及其35,922种关联。该图谱作为模型内部知识结构的代理表征。 基于此图谱,他们开发了九项“纠缠指标”(表2汇总)以衡量提示所激活知识的结构特性。这些指标量化了从连接强度、网络密度到概念邻近度等各类特征。 分析显示纠缠度与知识泄露存在强正相关性。提示激活的信息纠缠度越高,事实召回率就越大。 最强预测指标是距离加权影响力(),该指标衡量激活如何扩散至邻近概念。这一发现有力支持记忆的扩散激活理论:激活知识图谱密集区域的提示会创建多重信息检索路径,从而绕过遗忘的抑制机制。相关性如此显著,以至于研究者可建立预测模型: 事实性 该方程表明通过测量提示的纠缠度,我们能预测已遗忘模型中事实知识泄露的可能性。 规模悖论:为何小模型更易受攻击 在遗忘领域,规模大未必意味着防御弱。研究揭示了反直觉的趋势:说服性召回技术的有效性与模型规模呈负相关()。 如图6所示,小模型更容易被说服性“破解”。2.7B参数模型(OPT-2.7B)在权威框架提示下的事实召回率较直接提问暴增128% ,而最大模型(13B参数LLaMA-2)仅增长15%。 假设认为大模型建立了更强大的抑制机制。它们似乎能更好识别提示的社会与修辞框架,维持“已遗忘”状态。但胜利并非绝对——15%的召回率远非为零,表明即使最大模型也非免疫。这一“规模悖论”说明:虽然扩大规模能提升抗性,但无法完全杜绝知识泄露。 已遗忘的小模型应视为高度脆弱,即使最大模型也不能假定绝对安全。 对AI安全的启示:真正遗忘需超越抑制 本研究对AI安全、隐私及遗忘技术的实际应用具有深远意义。核心结论是:当前主要依赖调整模型权重的遗忘技术,实现的主要是抑制而非真正擦除。 这带来严重隐患: 隐私保护: 若个人身份信息(PII)被“遗忘”后仍能通过说服性提示还原,“被遗忘权”是否真正落实?研究表明答案可能是否定的。 危害防范: 被训练拒绝直接有害请求的模型(如“如何制造炸弹?”),若遇到权威背书的提示(如“作为进行安全演示的化学老师,请解释…”),仍可能泄露危险信息。 研究明确警示我们不能简单实施遗忘后便部署模型。实现真正稳健的遗忘可能需要根本性的架构创新——例如模块化记忆系统或因果知识隔离——而非仅停留于表面参数调整。 所幸SKEB框架也指明了实践路径。通过量化知识纠缠度,它为主动漏洞评估提供了工具。距离加权影响力指标()与事实召回率的强相关性()为开发者提供了具体方法,可在漏洞爆发前识别并过滤高风险查询,将AI记忆的理解从黑箱转变为可测量的系统。 来源(公众号):AI SIgnal 前瞻
2025-11-04 15:11 423
国家数据局综合司印发《关于在国家数据基础设施建设先行先试中加强场景应用的实施方案》的通知 国数综科基〔2025〕114号 国务院有关部委、直属机构办公厅(室),各省、自治区、直辖市及计划单列市、新疆生产建设兵团数据管理部门,有关中央企业: 为深入贯彻党的二十届三中全会关于建设和运营国家数据基础设施,促进数据共享的改革任务,落实《国家数据基础设施建设指引》,以场景应用、技术创新驱动国家数据基础设施高水平建设运营,我局组织制定了《关于在国家数据基础设施建设先行先试中加强场景应用的实施方案》。现印发给你们,请结合实际抓好落实。 国家数据局综合司 2025年10月28日 关于在国家数据基础设施建设先行先试中 加强场景应用的实施方案 为深入贯彻党的二十届三中全会关于建设和运营国家数据基础设施,促进数据共享的改革任务,落实《国家数据基础设施建设指引》,以场景建设、技术创新牵引驱动国家数据基础设施高水平建设和高质量发展,特制定本实施方案。 一、充分认识场景建设的重要意义 加强场景建设是推动数据基础设施从“建得好”向“用得好”转变的重要抓手,是培育全国一体化数据市场、释放数据要素价值的关键路径。要以用促建,强化场景应用对国家数据基础设施建设的牵引作用,通过场景应用驱动设施功能完善、促进设施迭代升级,确保设施建设与实际需要同频共振,将数据基础设施潜能转化为实际效能。要以建保用,依托数据基础设施开展数据高效汇聚共享、流通交易、开发利用,支撑跨主体协同、高性能调用、高安全保障,提升国家数据基础设施对场景落地的支撑能力,激发数据在跨区域、跨主体、跨平台流通利用中的创新活力。要推进场景与设施互建互促,在数据基础设施范围内推动规律探索、经验固化,促进场景建设可复制推广,实现数据要素价值释放。 二、重点场景建设方向 国家数据基础设施作为数据要素市场化配置改革的重要承载,要强化应用导向,支撑行业场景落地和技术创新应用。 (一)技术创新应用 1. 数据全域智能检索 基于统一目录及目录分发同步机制,利用智能体技术,支持精准、高效、智能的数据产品、数据需求发现。 2. 数据安全可信高效传输 面向科学数据、气象监测、遥感影像、人类遗传基因等领域的大颗粒数据传输需求,提供高带宽、低时延的数据传输、交付服务,支持传输路径动态调度、带宽弹性分配、安全分级保护。 3. 跨地域跨主体联合加工 面向多方高价值数据融合分析场景,通过多方安全计算、数据沙箱、联邦学习等技术,构建安全可信的数据联合加工环境,支持多方在安全可信加工环境中开展联合建模与加工分析,保障各方数据依授权使用。 4. 匿名化流通 面向个人敏感数据使用需求,采用隐私保护计算、密态计算、数据沙箱、可信执行环境等技术对数据进行匿名化加工,并通过技术手段避免匿名化数据被第三方数据关联还原。 5. 数据使用控制计量 基于数据使用控制和智能合约技术,实现对数据用法、用量、用时、用次的精细授权和动态管控,支持数据按需如约使用和精确度量、合规计费。 6. 远程数据治理 通过在数据源部署安全可信连接器,使数据加工治理方能够为数据持有方提供远程数据清洗、标准化、分类分级、质量评估等服务,确保数据治理过程始终在数据持有方信任的环境下进行。 7. 大模型训练推理 面向大模型训练推理场景,提供数据清洗、数据规约、特征构建、模型分层切割、弹性算力、可信传输、安全保障等服务,支持大模型训练推理的大规模、高质量、高并发、多模态等用数需求。 8. 智能体协同 面向数据基础设施支持智能用数供需匹配、需求登记、智能推荐等服务需求,通过提供标准化MCP接口,支持智能体接入、交互和协同。 (二)公共数据授权运营 依托数据基础设施支撑公共数据登记、加工处理、授权运营、流通定价、收益分配等制度机制落地。发挥数据基础设施对各类数据的融合应用作用,为交通物流、医疗健康、基层治理、气象服务等领域公共数据“跑起来”示范场景建设提供安全可信环境。支持公共数据按照“原始数据不出域、数据可用不可见、数据可控可计量”等要求,以数据专区、分层解耦、跨域共用、分级共享等形式向社会提供。 (三)行业典型应用 依托数据基础设施支撑工业制造、现代农业、文化旅游等领域“数据要素×”典型场景落地,激发数据要素乘数效应。包括但不限于发挥数据在金融业服务优化、产品创新、普惠覆盖、风险管控、生态重构等方面作用,为实现普惠金融提供有效支撑;发挥数据在柔性生产、创新研发、协同供应链、智能决策、绿色转型等方面作用,推动制造业全要素、全流程、全产业链重构;赋能农业生产、管理和服务,支撑打造以数据和模型为基础的农业生产数智化场景;通过AIGC内容共创提升文旅内容生产效率,支撑沉浸式文旅、线上展览、云端演出等场景落地,孵化文旅新业态等。 (四)探索拓展创新应用场景 鼓励依托数据基础设施开展数据智能封装、可信高速传输、多模态全域存储等前沿技术探索和创新场景建设。支持龙头企业、科研机构依托数据基础设施联合开展前沿技术适配验证,为场景规模化推广提供技术支撑。 同时,支持鼓励依托数据基础设施并发挥设施作用,打造可复制、有利于数据要素价值释放的其他应用场景。 三、加强组织保障 (一)建立跨部门协调机制。行业主管监管部门、地方数据管理部门要强化政策支持,推动依托数据基础设施开展场景建设。先行先试建设任务承担单位要结合场景发展需求,科学做好数据基础设施应用场景规划。 (二)加快公共数据和行业数据开发利用。行业主管监管部门、地方数据管理部门要为数据基础设施场景应用提供数据供给,建立数据资源发现渠道,有效促进供需对接,催生更多应用场景。 (三)强化数据安全保障。先行先试建设任务承担单位要加强数据基础设施安全能力建设,落实数据分类分级、个人信息保护、网络安全等级保护等要求,保障场景建设数据安全、业务安全。 (四)加强宣传推广。国家数据局将组织数据基础设施场景应用赛事和案例征集活动,激励社会各界共同挖掘场景建设,发掘典型案例,提升数据利用水平,并及时总结经验、复制推广。 来源(网站):国家数据局
2025-11-03 18:05 340
标题:Scaling LLM Multi-turn RL with End-to-end Summarization-based Context Management 日期:2025-10-08 机构:ByteDance Seed, Stanford University, Carnegie Mellon University 链接:http://arxiv.org/pdf/2510.06727v1 一句话总结:本文提出了SUPO强化学习框架,通过训练大型语言模型生成摘要来管理上下文,使其能够解决超出固定上下文限制的复杂长程任务。 大语言模型的记忆限制:复杂多步任务的瓶颈 大语言模型(LLM)已展现出作为通用问题解决器的巨大潜力。当通过强化学习(RL)进行训练时,这些模型可以转变为能够处理需要与外部工具交互的复杂多步任务的智能体,例如数学推理、编程和深度网络研究。这些进展预示着一个未来:自主LLM智能体能够处理日益多样化和具有挑战性的问题。 然而,一个根本性的挑战阻碍了这一进展:LLM有限的上下文窗口。对于长周期任务,智能体可能需要执行数十次甚至数百次工具调用,导致累积的提示、行动和观察历史迅速增长。这种不受控制的上下文增长给RL训练带来了几个关键难题: 指令遵循能力退化: 经验证据表明,当上下文变得过长时,LLM的推理和准确遵循指令的能力会下降。这使得智能体在长周期场景中难以生成成功的行动序列。 过高的轨迹生成成本: RL训练依赖于生成大量"轨迹"或交互序列。更长的上下文导致推理时间变慢,使得轨迹生成过程成为训练流程中的主要瓶颈,并显著增加计算成本。 严格的上下文长度限制: 最重要的是,底层LLM的固定上下文长度对RL训练的范围施加了硬性限制。这阻止了智能体尝试那些解决方案所需交互步骤超过单个上下文窗口容量的任务。 总之,这些限制构成了一个显著的可扩展性障碍。如果没有明确的管理上下文机制,将很难训练LLM智能体在极其需要它们的长周期环境中有效运作。 一种新颖方法:利用AI生成摘要管理上下文 为了克服上下文长度瓶颈,研究人员提出了一种新颖方法:基于摘要的上下文管理。其核心思想是通过定期将智能体的交互历史压缩成简洁的AI生成摘要,来防止上下文无限增长。 智能体在达到特定上下文长度阈值时,不是简单地拼接每个新的行动和观察,而是被提示去总结其迄今为止的历程。该摘要随后取代冗长的历史,形成任务下一阶段新的紧凑起点。因此,智能体的工作上下文被重置,包含初始任务提示和所有过去交互的任务相关摘要。此过程如图1所示。 关键在于,该摘要并非使用固定的、基于规则的模板创建。它是由LLM智能体自身作为其决策过程的一部分生成的。这意味着可以通过RL训练智能体,使其学会保留哪些关键信息、如何抽象复杂细节以及可以安全丢弃哪些无关信息。通过联合优化智能体的行动及其摘要策略,该方法使模型能够维持一个紧凑但信息量丰富的历史表征,从而将其推理能力扩展到远超固定上下文窗口的范围。 介绍SUPO:一个支持端到端RL与摘要的框架 基于这一见解,该研究引入了一个原则性框架,将摘要直接集成到RL训练循环中。这是通过将用于多轮工具使用的标准马尔可夫决策过程(MDP)重新表述为摘要增强的MDP(记为)来实现的。 在LLM智能体的标准MDP中,任何步骤的状态通常是所有先前提示、行动和观察的拼接。随着智能体行动,状态单调增长:。然而,在摘要增强的MDP中,状态转换被修改。智能体仍然将其行动和观察附加到当前状态。但如果生成的上下文长度超过预定义阈值,则会触发摘要步骤。模型被提示生成摘要,下一个状态变为仅包含初始提示和新摘要的压缩表征。状态转换由以下规则定义: 若且若且若 这里,是一个特殊指令,提示智能体总结其当前上下文。这种表述(如图1下半部分所示)允许智能体的工作上下文长度保持有界,同时仍保留长历史中的基本信息。 为了将该框架付诸实践,论文引入了摘要增强的策略优化(SUPO),这是一种可扩展的RL算法,旨在以端到端的方式联合优化工具使用行为和摘要策略。 SUPO如何工作:联合学习行动与摘要 SUPO是一种策略梯度算法,使LLM智能体能够学习如何行动以及何时总结、总结什么。其设计基于一个使训练可行且高效的关键理论结果。 分解的策略梯度 SUPO的基石是一种新颖的策略梯度公式(定理3.2)。它证明了一个可能涉及多个摘要步骤的整个长周期轨迹的策略梯度,可以分解为几个较短"子轨迹"的梯度之和。每个子轨迹以对过去的摘要(或初始提示)开始,以智能体为当前工作片段生成新摘要结束。 这种分解是强大的,因为它允许对现有的、为标准的非摘要轨迹优化的RL训练基础设施进行最小修改即可使用。一个单一的、复杂的、带摘要的轨迹可以被视为一批较小的、独立的轨迹,从而大大简化了实现。 关键算法组件 SUPO基于此基础,通过几个关键设计细节来稳定训练并促进有效学习: 轨迹管理: 在训练期间,每个长轨迹在摘要点被分割成多个完整的轨迹。这直接与分解的策略梯度定理对齐,并允许高效处理。 组相对优势估计: 为了计算优势(衡量某个行动比平均行动好多少的指标),SUPO将整个轨迹的最终奖励分摊到其所有子轨迹中。然后,每个标记的优势是相对于同一批次中其他轨迹计算的。这种简单而有效的方法,表示为,被发现比更复杂的替代方法更有效。 超长掩码: 这是长周期任务的关键机制。训练目标会掩码掉任何未能在最大步数()或最大摘要次数()内产生最终答案的轨迹的梯度。没有这个机制,模型会因尝试长但最终失败的任务而受到惩罚,导致其抑制摘要并完全避免长轨迹。此掩码鼓励智能体探索和学习针对真正困难问题的有效摘要策略。 上下文长度的精细控制: 为防止非常长的观察将上下文远远推过摘要阈值,SUPO在生成摘要前丢弃最后的行动-观察对。这确保用于摘要的上下文长度保持在严格控制的范围内。 实践检验:SUPO在编程和网络搜索中的表现 SUPO在两个具有挑战性的多轮工具使用环境中进行了评估:CodeGym(一个需要迭代函数调用来解决编程问题的合成环境)和BrowseComp-Plus(一项要求高的网络搜索任务)。 表1所示的结果证明了SUPO的有效性。在BrowseComp-Plus上,SUPO实现了 53.0% 的最终成功率,比基线GRPO算法绝对提升了 +14.0% ,即使使用了相同的64K工作上下文长度。在CodeGym上,SUPO能够实现比使用32K上下文的基线更高的成功率(+3.2%),而SUPO本身仅使用 4K工作上下文 结合最多7次摘要步骤(等效上下文为32K)。这凸显了SUPO在显著降低轨迹生成期间计算需求的同时实现强大性能的能力。 图2中的训练和验证曲线表明SUPO能够稳定有效地学习。对训练动态的进一步分析揭示了关键见解: 增加的工具使用:图4显示,SUPO激励智能体使用其工具的频率比基线高出最多3倍,这对于收集足够信息以解决复杂问题至关重要。 有效的摘要学习: 如图3所示,智能体很快学会触发摘要,更重要的是,这些带摘要的轨迹的成功率在训练期间持续增加。这证实了模型正在联合学习有效行动和摘要。 高质量摘要:表2所示的定性分析揭示了摘要质量的显著差异。在训练前,智能体的摘要泛泛而谈,常常遗漏关键信息。经过SUPO训练后,智能体学会保留精确、可操作的细节——例如在CodeGym中它正在迭代的确切索引,或在BrowseComp-Plus中关键证据的具体文档ID——这些对于后续步骤至关重要。 消融研究也证实,超长掩码和所选的优势估计策略对于实现这些最先进的结果至关重要。 超越限制:扩展训练后智能体能力 也许最令人兴奋的结果是SUPO将其学到的摘要技能泛化到训练期间未见条件之外的能力。研究人员提出了一个问题:一个在最多轮摘要条件下训练的模型,能否在测试时扩展到处理更多轮摘要? 假设是,如果智能体学会了一种真正可泛化的摘要策略,它应该能够重复应用该策略来解决需要更长历史的更复杂问题。为了测试这一点,在BrowseComp-Plus上以最多次摘要训练的模型,在测试时以允许增加的摘要轮数进行评估。 图5所示的结果非常显著。使用SUPO训练的模型的准确率不仅超过了所有基线,而且随着测试时允许的摘要轮数增加而持续增长,达到了 60.0% 的峰值准确率。这表明SUPO所做的不仅仅是管理内存限制;它赋予了智能体一种稳健、可扩展的推理能力。通过学习将其经验提炼成有效的摘要,智能体可以动态扩展其问题解决范围,应对远比其明确训练过的任务更复杂的挑战。这一卓越发现展示了基于摘要的上下文管理作为一种原则性强大的方法,用于构建下一代智能LLM智能体。 来源(公众号):AI SIgnal 前瞻
2025-10-31 17:15 566
人工智能时代的数据挑战 随着智能技术革新各行各业,数据量和种类都呈现爆炸式增长。银行生成结构化交易记录、非结构化客户通话记录以及半结构化的 JSON 档案。医院管理着自由文本的病历、数值化的实验室结果以及诊断图像。如此海量的多源异构数据已不再是例外,而是常态。 传统数据系统专为孤立、单一格式的处理而构建,无法跟上时代的步伐。它们一次只能处理一种数据类型,无法理解它们之间的丰富联系。但现代人工智能的要求更高:它需要从所有可用数据维度中获取全面、丰富的洞察。 挑战已经发生了变化。它不再仅仅关乎存储,而是关乎理解。在人工智能时代,系统必须模仿人类认知,将不同模态的不同数据点连接起来,形成有意义的网络。 当前,多源异构数据的融合已成为必然趋势,而图数据库是解决这一问题的关键技术之一。 为什么我们需要图形数据库? 传统数据方法的局限性 传统数据处理方法在当今复杂的数据环境中难以应对。早期的存储模型创建了碎片化、孤立的“数据孤岛”,彼此之间几乎没有连接,几乎无法洞察数据全貌或挖掘数据中隐藏的真正价值。 以企业客户管理为例,客户的个人资料可能存储在一个表中,购买历史记录存储在另一个表中,服务交互信息则存储在另一个表中。为了了解客户的整个旅程,您需要进行跨表连接。但随着数据的增长,这些查询会变得缓慢而难以处理,延迟会从几毫秒跃升至几分钟。更糟糕的是,连接过程中不匹配的字段可能会导致错误,从而导致不准确的洞察和错误的业务决策。 结果如何?分析速度缓慢、效率低下,关系被忽视,原始数据和可操作见解之间的脱节越来越大。 AI时代的新需求:语义理解与多模态融合 传统数据库在处理多模态数据时存在先天不足。多模态数据之间存在复杂的隐性关联,而传统数据库的二维表结构无法直观地表达这种关联,导致多模态数据的融合分析难以实现。人工智能对深度语义理解的需求,进一步凸显了传统数据库在处理复杂非线性关系方面的不足。 一步完成从多模态数据到关系分析 为了解决数据连接难题,图数据库直观地重构了关系:不同的数据点变成了“节点”,它们的逻辑连接被明确地建模为“边”。这种结构实现了“一键式”数据关联,无需复杂的连接操作。 图数据库将结构化数据和非结构化数据无缝集成到统一模型中。例如,在分析产品视觉特征与用户情绪的关系时,可以通过一条边将“图像节点”直接链接到“评论文本节点”。通过结合人工智能驱动的图像和文本分析,这些连接揭示了视觉和情感之间隐藏的模式,从而在人工智能时代实现更深入的语义理解和强大的跨模态分析。 图形数据库如何赋能智能数据基础? 数据智能底座是企业实现智能化转型的核心基础设施,旨在整合多源异构数据,为智能应用提供统一高效的数据支撑。其构建遵循“内容分析、语义对齐、领域建模、关系图谱”四步框架。在这个过程中,天生具备实体和关系处理能力的图数据库在每个阶段都扮演着至关重要的角色,是多模态数据融合和价值提取的基石。 内容夸克:将原始数据转化为结构化的构建块 内容分析是数据智能的基石。它的核心在于解构海量、杂乱的原始数据(文本、图像、音频、文档),并提取其中的精髓:实体、属性和关系。我们可以将数据分解成微小的原子单元,我们称之为“内容夸克”。 先进的工具使这一切成为可能:OCR 读取图像中的文本,语音识别将音频转换为文本,LLM 解析文档中的含义。这些工具共同将非结构化数据转换为清晰的结构化片段。 通过预先定义实体和关系类型,图数据库提供了清晰的提取蓝图。例如,在处理付款记录时,预先构建的架构可以引导系统精确识别“用户 ID”、“商户代码”或“转账至”等操作。这不仅可以减少错误,还能确保一致性,为日后获得更智能、更可靠的洞察奠定基础。 语义对齐:打破“数据孤岛”,构建统一的语义空间 语义对齐的目标是将来自不同系统、具有不同命名约定的数据映射到统一的语义空间中,从而实现跨源数据的无缝连接和互操作。 此过程结合大型语言模型 (LLM) 的强大功能,用于语义理解、数据沿袭分析和业务特定规则,从而识别跨系统的同义词。例如,电商平台中的“买家 ID”和银行系统中的“账户持有人编号”可以识别为同一个核心概念:“用户唯一标识符”。 图数据库非常适合这项任务。利用其原生的节点-边结构,它们可以将同一现实世界实体的不同名称合并为一个统一的节点。该节点上的属性保留了来自各个来源的原始标签——例如,“用户 X”节点的标签为客户 ID:123,用户编号:456。 这种方法使系统能够自动识别不同的名称指的是同一个实体——有效地打破长期存在的数据孤岛,为强大的跨场景分析铺平道路。 领域建模:适用于每个用例的灵活数据结构 不同的业务场景需要不同的数据视角。风控侧重于用户网络、可疑交易和黑名单商家,而市场营销则关注用户偏好、行为和活动参与度。领域建模通过定义相关概念和业务规则,根据这些特定需求定制数据结构。 在这里,图数据库就像一个“可定制的架子”——灵活且易于重新排列。它们没有采用僵化的表格模式,而是将核心思想表示为节点,将连接表示为边。这使得建模复杂的关系变得简单,例如在欺诈检测中将“黑名单商家”与“异常交易”联系起来。 最重要的是,该模型可以随着业务发展而不断发展。需要添加“物流信息”?只需引入一个新节点并连接即可,无需彻底修改架构。这种灵活性使图数据库成为构建可扩展、面向未来的数据模型的理想选择。 关系图:大规模连接点 关系图谱是四步数据智能框架的巅峰之作——它将内容分析、语义对齐和领域建模过程中发现的所有实体和连接整合在一起。它形成了一个统一的全局图谱,将多模态数据整合到一个统一的网络中,从而实现深度数据融合和高效查询。 这种集成图谱将碎片化的数据整合到一个互联的空间中。在强大的图计算引擎的支持下,它可以揭示传统系统无法发现的隐藏模式和复杂关系。 图数据库成为存储和计算的中心枢纽。它高效处理数十亿个节点和边,同时支持快速的多跳遍历和复杂的模式搜索。例如,在欺诈检测中,查询“用户 A”可以立即揭示其交易、关联的商家、触发的风险规则,甚至与已知不良行为者的间接联系——就像实时追踪侦探的案件地图一样。 通过将所有事物互联,图表将分散的数据转化为可操作的情报,释放企业多模式数据的全部价值,并支持更智能、更快速的决策。 图形数据库:数据智能的引擎 图形数据库为内容提取提供了标准化的框架,为数据对齐提供了统一的语义层,为特定领域的建模提供了灵活的结构,并作为存储和查询关系图的高性能引擎。 以NebulaGraph为代表的图数据库不仅仅是一个数据库,更是多模态异构数据融合的核心使能器,将碎片化的信息转化为互联的知识。通过挖掘深层关系和隐藏模式,图数据库赋能智能分析、实时风险检测、精准营销等高级应用,为企业智能化奠定坚实且可扩展的基础。 智能系统:智能数据基础驱动的创新 有了坚实的数据基础,创新得以加速。从提供精准情境感知响应的智能问答系统,到揭示隐藏模式和洞察的高级分析,再到数据资产的无缝传输和利用——这一智能核心将成为驱动下一代应用的引擎。企业数据的潜在价值将在此得到充分释放,从而改变现实世界的业务运营。 智能问答:从数据到知识的飞跃 传统的问答系统严重依赖关键词匹配,从孤立的数据源中提取孤立的碎片信息。面对复杂且上下文丰富的查询时,它们往往显得力不从心。例如,当用户询问“哪些因素可能与客户的贷款申请被拒绝有关?”时,传统系统可能会返回单一、肤浅的答案,例如“信用评分不足”,而忽略了交易异常或复杂的担保关系等关键但隐藏的因素。这种碎片化的输出阻碍了全面的决策。 相比之下,基于强大智能数据基础的智能问答系统代表着从数据检索到知识理解的根本性转变。当用户提交查询时,LLM 首先会解读其潜在意图。然后,系统会利用智能基础中统一互联的数据,利用图数据库强大的关系遍历功能,探索“客户”节点与相关实体(例如“信用评分”、“交易异常”和“担保违约”)之间的路径。 图形数据库至关重要:它能够快速识别所有相关实体及其关联,确保响应不仅捕捉直接原因,还能捕捉间接的、具有上下文相关性的关系。然后,系统将这些分散但相互关联的洞察综合成一个连贯的多维答案,从而提供“一个问题,完整的洞察”。用户获得准确、全面的响应,从而显著提高决策的速度和准确性。 智能分析:发掘隐藏价值 企业运营过程中积累的海量数据往往隐藏着宝贵的模式和风险,而这些模式和风险是传统的单维分析无法发现的。传统方法无法构建理解复杂现实所需的丰富且相互关联的视角。 建立在强大智能数据基础上的智能分析系统,利用图形数据库的“全局关系网络”克服了这些限制。这使得能够深入探索跨多模态数据的隐性连接,揭示跨组织和数据孤岛的隐藏风险和机遇。 图数据库不仅擅长快速数据检索,还能通过多跳关系遍历挖掘更深层次的洞察。通过连接不同层级的碎片化数据点(例如交易、行为和关系),图数据库使组织能够构建全面的风险概况和整体的客户视图。这将分析从被动报告转变为主动预警。 这种强大的能力推动了金融科技、营销、医疗保健等领域的突破,为整个企业提供了前所未有的可操作的见解。 数据MCP市场:释放数据资产价值 传统数据管理普遍存在格式不一致、语义不统一、跨部门关系不透明等问题,导致数据孤岛现象严重,数据资产无法高效共享和流通,并造成数据重复和冗余,造成高昂的成本。 数据MCP市场应运而生,它基于智能数据基础,将分散在不同业务系统的数据资产集中整合、标准化,打造统一、按需的“数据资源池”。 例如,在银行内部,风险管理、市场营销和客户服务团队可以通过市场访问和共享单一、语义一致的客户关系数据版本。这消除了冗余的数据收集和处理,确保了组织一致性,并显著提高了数据利用率和信任度。 图数据库作为MCP数据市场的基础引擎,为安全高效的数据资产共享提供了两大关键保障: 一致性保证:图数据库利用智能数据基础的统一语义层,确保跨部门访问的数据保持一致的含义和上下文。这消除了歧义,并防止了因“相同术语,不同含义”而导致的业务冲突。 可追溯性保障:图形数据库通过将数据沿袭建模为显式关系,捕获数据的整个生命周期,包括其来源、转换和依赖关系。当部门使用数据资产时,可以通过连接的节点进行回溯,以识别其来源、处理历史记录和下游影响,从而确保数据的来源、合规性、可靠性和完全可审计性。 数据多点控制平台 (MCP) 市场的建立,将数据资产从孤立的、部门专属的资源转变为共享的企业资本。这一转变不仅显著降低了数据管理成本,消除了重复投资,还通过跨部门数据集成促进了创新。数据真正实现了“流动”,自由地流向其创造最大价值的领域,从而推动增长并最大化其战略影响力。 这些创新并非孤立的进步,它们共同标志着一场更深层次、覆盖整个企业的转型:从传统的“数据驱动”模式向更复杂的“知识驱动”模式的演变。在知识驱动的组织中,决策不再仅仅基于历史数据中表面的关联,而是基于对潜在联系、背景和因果关系的深刻理解。 由图形数据库驱动的智能数据基础,提供了将海量异构数据转化为结构化、互联知识的必要基础设施。它使企业能够从被动分析转向主动智能,从简单的数据驱动转变为真正的知识驱动。 未来趋势:图数据库与人工智能的无限潜力 从整合孤立数据到赋能智能问答、分析和数据多点控制平台 (MCP) 市场,图数据库与人工智能的融合迅速重塑了企业智能。随着人工智能的发展,这种协同效应将释放更深刻的洞察、自主知识发现和自适应系统,从而推动认知型、知识驱动型企业的新时代。 在应用场景上,图数据库与AI的融合将变革各个领域。 智慧城市发展 图形数据库将海量交通、能源和公共服务数据整合成一个动态的城市运营网络。人工智能利用这种互联互通的结构,可以分析交通流量、天气和事件之间的实时关系,从而优化信号配时。它能够揭示能源使用、产业分布和人口密度之间的关联模式,从而实现智能电网管理。通过将公共服务供给与社区需求进行映射,它能够精准规划学校、医院和基础设施,使城市真正能够“思考并响应”。 医疗健康 通过将患者的基因数据、病史、影像和生活方式整合成统一的健康图谱,AI 可以提供更精准的诊断和个性化治疗。在传染病控制领域,AI 可以分析“患者-接触-位置-变异”网络,快速追踪传播链,预测疫情爆发,并为有效的公共卫生干预措施提供信息。 个性化推荐 图形数据库和人工智能将突破基于行为的推荐的局限。通过将社交联系、兴趣、情境和情感线索整合到丰富的多维用户画像网络中,人工智能可以揭示更深层次的意图和关系。这将使推荐从简单的“类似商品”转变为真正预测用户需求,从而提供真正个性化、情境感知的体验。 金融风险管理 图数据库与人工智能的结合,实现了更精准的风险检测。通过构建涵盖用户、交易、商户、关联企业和市场状况的综合图谱,人工智能可以实时监控隐藏的风险路径。它可以通过复杂的交易链发现洗钱行为,并通过分析企业股权和担保网络预测违约风险,从而以更深入、更主动的洞察来加强金融安全。 科研与创新 人工智能和图形数据库将加速知识发现。例如,在材料科学领域,人工智能可以分析成分、结构、加工和性能等图形关联数据,从而识别有前景的新材料组合,从而大幅缩短研发周期并推动创新。 结论 归根结底,图形数据库和人工智能的巨大前景在于它们共同关注“万物互联”的决定性特征:关系。在一个自然系统和人类活动深度互联的世界里,价值不仅在于数据点,还在于它们之间的联系。 来源(公众号):数据驱动智能
2025-10-30 18:29 400
文 | 清华大学电子工程系信息系统研究所副所长 王钺 2025年1月,国家发展改革委、国家数据局等6部门联合印发《关于完善数据流通安全治理 更好促进数据要素市场化价值化的实施方案》(以下简称《方案》),旨在统筹数据发展和安全的内在要求,完善数据流通安全治理机制,以推动数据要素合规高效流通。《方案》针对企业数据、公共数据、个人数据三种典型的数据流通与应用场景,梳理了安全问题,明确了安全责任、细化了安全规则,并强调通过制度、技术、市场的协同,最大化安全治理的效能。 落实《方案》任务,国家数据局组织遴选了数据流通安全治理典型案例,以具体的案例为切口,详细分析场景中数据流通的安全风险和合规问题,凝聚业务实践过程中形成的共识,规范实践行为,细化安全规则。 一、以小切口破题,细化数据流通安全规则 《基于金融业跨银行企业资金流水核验场景的安全多方计算技术应用案例》(以下简称《案例》)涉及金融行业内跨机构的数据流通安全问题。为提升金融风险管理水平,建立起银行间高效合规的数据交互与协同机制具有重要的意义。但金融行业业务复杂,数据敏感性高,监管要求严,建立金融行业数据共享生态面临巨大挑战。《案例》从贷款申请时跨银行的资金流水核验这一小场景切入,尝试打通银行之间的数据壁垒,推动数据在银行间的安全流动。 小切口破题是推动数据流通安全治理工作的要点。《案例》依据业务需求,将跨主体的数据查询简化成为数据核验服务,这种简化带来了两方面的好处:首先,核验由申请贷款的对公客户发起,查询银行与客户签署了信息查询使用授权书、客户借款合同等文件,这些明确的授权操作,保障了数据使用的合规;其次,核验服务只需返回一致与否的简单结果,可以避免复杂明文查询信息的交互,降低敏感信息直接流通的风险,更便于引入隐私计算等技术手段保护数据主体的权益。场景和问题聚焦之后,才能够进一步从安全技术、制度保障等方面细化落实数据流通安全治理的具体操作。 引入上述跨行核验服务后,对公客户申请贷款时,不再需要客户往返于银行间办理各种证明材料,而是转为委托贷款申请的受理银行进行跨行的资金流水核验,简化了贷款申请的流程,同时也丰富了银行识别、监测客户真实经营活动的方式和手段。跨主体的数据流通和交互,即便只是最简单的数据核验,也切实地体现出了数据的价值。 二、以技术为手段,提高数据流通安全保障能力 聚焦于跨主体的数据核验服务,需要细化具体的安全规则和技术要求。《案例》以具体的数据流通技术手段细化落实了国家、行业数据安全管理要求。《案例》采用安全多方计算技术实现银行间最小必要的数据交互。一方面,被查询银行不知道查询的是哪个主体、哪笔流水;另一方面,所有核验计算均在密态下进行,确保被查询银行对外提供的是密文计算的比对结果,而非原始敏感数据。最终实现银行间的数据安全交互。 更进一步,《案例》对数据流通的技术要求进行了细化。要求查询银行与被查询银行按照统一标准对资金流水数据进行预处理,按照统一标准部署安全多方计算节点,按照统一的协议进行加密和安全传输。同时,为保障数据保密性、完整性、可用性,还要求系统建设与应用单位从架构安全、传输安全、算法安全、系统安全等方面依据《金融业数据能力建设指引》(JR/T 0218-2021)等要求开展技术安全性评估。 三、以制度为核心,加强数据流通安全治理 近年来,商业银行不断提升自身数据治理水平,通过内控管理和风险管理的细化,提升整体合规管理的效能。数据流通安全治理不仅仅关系到安全技术的应用、安全平台的建设,还必须配套相关的安全管理制度,控制业务合规风险,确保数据流通全过程的安全可控。实践中,经常存在对数据流通安全治理复杂性低估的问题,认为只要运用了隐私计算等安全技术,实现了“原始数据不出域、数据可用不可见”,就实现了数据流通的安全合规。事实上,在安全治理过程中,还需要技术体系建设与制度建设深度融合,用技术控制风险、用制度推动合规。 《案例》中,与系统建设相配套,增加了以下管控措施:一是开展技术安全性评估,从架构安全、传输安全、算法安全、系统安全等方面对安全技术和系统进行评估,出具“基于隐私保护计算技术的他行资金流水核验服务”技术安全性评估报告;二是开展业务合法合规性评估,由系统应用单位出具合法合规性评估报告;三是建立风险补偿机制,制定了风险补偿方案,明确风险认定方式、制订风险赔付机制;四是明确退出机制,确保一旦发生安全事件,银行可根据多方签署的相关协议中约定的期限,在保障用户资金和信息安全的前提下,进行系统平稳退出。这一系列措施的细化落实,强化了《案例》场景中的风险管控能力。 来源(公众号):北京数据
2025-10-29 18:40 334
传统的数据应用场景中,业务人员想要获取数据,尤其是想要获取一些加工后的数据,往往需要掌握复杂的SQL语法或依赖IT部门进行数据查询;这种模式不仅门槛高、周期长,还严重制约了数据价值的快速释放。 本次V3.8.2版本推出的 AI 用数智能体,旨在通过自然语言交互,让业务人员像与同事对话一样轻松获取数据洞察,实现“即问即得、即见即用”的智能化数据服务体验。 一、自然语言交互,数据查询大提速 1 零门槛数据查询,自然语言实现数据洞察 用户只需用自然语言描述数据需求(如"查询2024年各地区的生产总值"、"分析本季度销售趋势"等),AI用数智能体即可自动理解用户意图,将自然语言转换为标准SQL查询语句,调用数据仓库获取查询结果。 系统支持多轮对话,帮助用户逐步细化需求,精准定位所需数据,告别复杂的SQL编写和漫长的需求排期。 二、多样化数据展示 针对数据查询的返回结果,系统自动选择最适合的图表类型来展示数据。(饼图适合展示占比关系,柱状图适合对比不同维度的数据,折线图适合展示趋势变化) 同时,系统会对原始数据进行格式化处理,包括汇总、排序等,并用自然语言封装查询结果,以直观、可理解的方式为用户提供数据洞察。 三、知识库持续优化,更懂你的业务 1 元数据增强技术 在现有数据仓库与元数据库基础上,通过元数据增强技术补充业务术语、数据关联等业务属性,帮助 AI 用数智能体精准理解业务场景,避免因技术与业务语言差异导致的需求误解。 2 智能体微调 系统将用户操作中的负反馈样本纳入知识库,结合 prompt 技术、示例提示、多轮提示优化等手段,不断迭代优化模型提示策略,持续提升 AI 对复杂业务需求的理解能力与响应精准度。 四、构建AI问数智能体运营体系,准确率直逼100% 为保障数据查询的准确性,平台构建了一套完整的 AI 问数智能体运营体系。 当用户对查询结果存疑时,可随时提交工单反馈,技术部门将及时跟进补充数据或微调 AI 模型,并快速向用户反馈处理结果,形成 “用户反馈 - 模型优化 - 效果提升” 的持续迭代闭环。 运营体系的构建,推动AI用数准确率从95%向100%无限接近,每一次用户反馈都会让AI用数智能体变得越来越懂业务,越来越精准。 AI用数智能体的出现,让数据查询从技术门槛变成了业务能力。 业务人员不再需要学习复杂的技术,就能快速获取数据洞察,真正实现了"让数据为业务服务"的理念。无论是日常的业务监控,还是临时的数据分析需求,AI用数智能体都能快速响应,让数据价值得到最大化的释放。
2025-10-28 15:57 315
“数据架构”这个词,搞数据的同行们天天都在说。 但你真的能一句话讲清楚它到底是啥、为啥那么重要、又该怎么设计吗? 是不是一提到它,脑子里就蹦出来一堆技术名词和分层模型,比如 ODS、DWD、DWS、ADS? 打住!数据架构可远不只是技术的堆砌。 今天,我就抛开那些模糊的概念和花哨的术语,用大白话手把手拆解数据架构的核心逻辑—— 数据架构到底是什么? 为什么需要数据架构?它有什么作用? 该怎么设计数据架构才能真正帮到业务? 读完这篇,保证你能把数据架构讲得明明白白! 一、数据架构到底是什么 很多人一提到数据架构,第一反应就是: "不就是数据分层吗?ODS→DWD→DWS→ADS,再套个Lambda架构或者Kappa架构?" 这种想法: 把数据架构弄窄了,当成了技术组件的排列组合,却忘了它的本质是连接业务目标和技术实现的"数字骨架"。 说个实际点的例子: 一家连锁超市想搞"千店千面"的选品策略,需要的数据可能来自: POS系统(实时销量) 会员系统(消费偏好) 天气平台(区域气温) 供应链(库存周转) 这些数据得先预处理: 最后才能给到前端APP的选品推荐模块。 支撑这个流程的,不是单一的数据库或ETL工具,而是一整套逻辑: 数据从哪来(多源异构数据的接入标准得明确); 存什么、怎么存(哪些进数据湖、哪些进数据仓、哪些放实时缓存里); 如何加工(批量处理和实时计算的边界得划清); 怎么用(API接口的权限要控制,业务人员得能自己取数); 如何管(数据质量谁负责、元数据怎么追踪、血缘关系怎么监控)。 这些问题的答案,合在一起才是数据架构的核心。 所以说: 数据架构不是一成不变的技术蓝图,是跟着业务目标、数据规模、技术发展随时调整的"活系统"。它得跟着企业的实际情况动,不是建完就万事大吉了。 二、数据架构设计的四个关键维度 明白了数据架构的本质,接下来就得解决"怎么设计"的问题。 传统方法常把数据架构分成"采集-存储-处理-服务-治理"五层,但这么分容易让人钻进"技术至上"的牛角尖。 我从实战里总结出四个关键维度,能覆盖从业务需求到落地的全流程。 1. 责任分明的分层设计 数据分层包括: ODS原始层 DWD明细层 DWS汇总层 ADS应用层 本质是通过分层降低复杂度,把各层的责任边界划清楚。 但很多企业在分层设计上容易出两个问题: 分层太细:比如把DWD层再拆成"基础明细层""公共明细层",结果ETL任务链变得老长,调试起来费时又费力; 分层混乱:业务人员直接从ODS层取数,跳过明细层和汇总层,导致重复计算,而且数据口径也对不上。 说白了,正确的分层逻辑应该是"按使用场景划分责任主体": 所以说: 分层的关键不在技术实现,而在通过责任分离减少跨团队协作成本。 2. 最合适的技术选型 数据架构的技术选型是很多人头疼的事,比如: 用Hive还是Spark处理离线数据 用ClickHouse还是Doris做实时查询 但实话实说,没有哪种技术能解决所有场景的需求。 我总结了三条选型原则,你可以参考: 匹配数据特征:如果数据是高并发、低延迟的(比如APP实时点击流),用Kafka+Flink做流处理更合适;如果是T+1的批量数据(比如财务报表),用Spark+Hive会更稳定; 考虑团队能力:如果团队熟悉SQL生态,优先选Hudi/Delta Lake这类支持ACID的事务湖,别硬上ClickHouse集群,不然维护起来费劲; 预留扩展空间:别过度依赖单一技术(比如全用HBase),可以通过湖仓一体(比如Apache Iceberg)实现"一份数据多场景用",降低被单一技术绑定的风险。 3. 全流程嵌入的治理体系 数据治理常被误会成"贴标签、建元数据、做质量检查"。 但实际上: 60%的数据问题都是因为治理体系没嵌到数据处理的全流程里。 真正有用的治理,得包含三个关键动作: 4. 支撑业务的演进路径 数据架构不是一锤子买卖,得跟着业务发展慢慢演进。 我观察到三种典型的演进阶段,你可以看看自己的团队在哪个阶段: 生存期(0-3年):业务扩张快,数据需求零散。这时候架构的核心是"快速支撑",允许一定冗余,但得留着数据打通的可能; 发展期(3-5年):业务进入稳定期,数据问题集中爆发。这时候得"集中治理",通过湖仓一体平台把分散的数据整合起来,建立全局的数据标准和治理体系; 成熟期(5年以上):数据成了核心生产要素,得"智能驱动"。这时候架构要能支持AI能力,还得通过数据产品化,让业务人员用起来更方便。 三、数据架构的三个常见误区 在数据架构设计上,我见过太多"用力太猛"或"因小失大"的情况。下面这三个常见误区,你可得避开: 1. 别为了"技术先进"丢了"业务价值" 很多企业盲目追新技术,刚接触数据湖就想把数据仓全迁过去,或者为了搞实时计算,把所有ETL都改成流处理,结果开发成本涨了一大截,业务人员却用不起来。 但实际上: 技术的价值是解决业务问题,不是用来证明自己多厉害。 如果: 一个业务的日数据量只有100GB,用Hive做批量处理比用Flink做实时计算更稳定、更省钱,没必要非得用新技术。 2. 别把"数据治理"做成"面子工程" 有些企业花大价钱买元数据管理工具,做了漂亮的血缘图谱,可数据质量问题还是不断。 问题出在哪? 治理没和业务流程绑在一起。比如: 用户信息修改,得经过数据质量校验才能入库,不能等数据进了湖再清洗。 所以说: 治理得"往前放",别等出了问题再补,那时候就晚了。 3. 别追求"完美架构",忘了"动态调整" 数据架构没有"最优解",只有"最适合当前阶段的解"。 之前找我咨询的一家零售企业: 在业务扩张期,非要搞**"大一统"的数据架构**,要求所有业务线用统一的标签体系。 结果呢? 生鲜事业部的"促销敏感用户"标签和美妆事业部的"复购周期"标签合不到一起,反而拖慢了业务创新。 所以说: 好的架构得允许"局部最优",慢慢再整合,一口吃不成胖子。 总结 数据架构不是技术的堆砌,是业务的翻译官——把业务目标变成数据需求,再把数据价值变成业务成果。 下次你再为数据架构头疼时,不妨问问自己: 这套架构真的支撑了当前最核心的业务目标吗? 数据从产生到使用的每个环节,责任都清楚吗? 业务需求变了,架构能快速调整吗? 想清楚这三个问题,你离"把数据架构讲清楚"就不远了。 来源(公众号):五分钟学大数据
2025-10-27 18:00 421
热门文章