专题 | 万字分享数据共享交换平台的实践要点

苏槐，微信号Sulaohuai，中国计算机学会会员，数据要素发展委员会常务理事，首席数据官，现服务于龙石数据，曾就职于神州数码、Oracle、新加坡电信等企业。擅长数据管理体系、容器技术、微服务架构及技术管理。

摘要：本文主要是介绍如何通过数据共享交换平台解决横纵各部门、各系统之间的“信息孤岛”、数据烟囱、重复建设等问题，打破各部门间的信息壁垒，降低各部门数据共享门槛，建设部门间的数据高速公路，实现各部门的数据融合、业务协同、数据资产化，进而推动整个信息化建设进程飞速发展。

关键词：一体化；共享交换；数据交换；资源目录；API交换

目录

1  电子政务发展趋势

2  数据共享交换体系的概念

3  数据共享交换平台的常见要素

4  数据资源目录建设的重点和新要求

5  数据交换平台建设的重点和新要求

6  API平台建设的重点

1  电子政务发展趋势

随着我国信息化建设的深入发展，推进横纵各部门间的数据交换，实现跨层级、跨区域、跨部门、跨系统数据共享与业务协同，已经成为当前电子政务建设的重点。我国新一代的政务服务模式“互联网+政务服务”正在形成，保障各部门数据的使用安全性和迁移安全性,已经成为政企使用共享交换平台的基本前提。

在“一网统管”、“一网通办”、“互联网+政务服务”的发展趋势下，数据实时共享和业务协同的需求越来越多，但是由于政务数据源分散、数据相对割裂、应用及服务碎片化，使得数据开放共享工作中，需要上级单位通过行政命令方式统筹下属各委办局，协调各单位信息部门和职能部门，并需要系统开发厂家的高度配合，协调难度大、成本高、耗时耗力。但是，经过十多年的发展，在数据共享的切实需求驱动下，目前各个部门对政务数据资源的态度已经由原来的“不愿共享”变成了“愿意共享却不知怎么共享”的问题。

为了解决数据共享的三难，“不愿”，“不敢”，“不会”问题，国家陆续出台多项信息化建设指导文件，如国务院印发《促进大数据发展行动纲要》、《政务信息资源共享管理暂行办法》、《“十三五”国家信息化规划》、《国务院关于加快推进“互联网+政务服务” 工作的指导意见》、《政务信息系统整合共享实施方案》，以及今年印发的《加强数字政府建设的指导意见》和《全国一体化政务大数据体系建设指南》。这些文件中都明确要求打破信息壁垒和孤岛，采取授权使用等机制解决信息安全问题，构建统一高效、互联互通、安全可靠的国家信息资源体系，打通各部门信息系统，推动信息资源跨部门跨层级共享共用等。而建设安全、高效、精细分工的共享交换平台，形成政务信息资源共享交换体系，为以上问题找到了出路。

2  数据共享交换体系的概念

政务信息资源共享交换体系包含两部分，政务信息资源目录体系和数据交换体系，两者都是为电子政务应用提供跨部门跨层级服务的基础设施，他们相互独立，互为支撑。各级部门单位可以根据实际应用需要，利用目录体系发现和定位信息资源，利用数据交换体系享受数据共享交换服务。

那什么是政务资源目录，政务资源目录包含什么呢？

政务信息资源目录，是通过对政务信息资源依据规范的元数据描述，按照一定的分类方法进行排序和编码的一组信息,用以描述各个政务信息资源的特征,以便于对政务信息资源的检索、定位与获取。政务信息资源则是指政务部门在履行职责过程中制作或获取的，以一定形式记录、保存的文件、资料、图表和数据等各类信息资源，包括政务部门直接或通过第三方依法采集的、依法授权管理的和因履行职责需要依托政务信息系统形成的信息资源等。

政务信息资源共享交换就类比用餐一样，信息资源相当于是食材，数据交换相当于是获取食材和分食的途径。鱼肉靠狩猎，瓜果蔬菜靠种植；分食同理，肉类用刀，汤类用勺，不同类型的信息资源也决定着不同的交换方式。结构化和半结构化的数据通过库表交换，非结构化的数据通过文件交换，交换时效性强且高频度的数据通过API交换。数据交换平台需提供不同的数据交换方式，满足于不同类型的数据共享需求。

3  数据共享交换平台的常见要素

图1　数据共享交换平台-总体架构图

结合国标《GB/T 38664-2020信息技术 大数据 政务数据开放共享》和龙石数据共享交换平台的建设经验，政务数据共享交换平台主要包含信息资源门户、资源目录管理平台、数据交换平台、API平台和API服务底座，如上图所示。

1）信息资源门户为用户提供便利的数据资源应用功能，包括数据资源的检索、申请、审批、评价的全流程管理，以及基于资源目录的数据在线查询和在线下载，为数据资源的共享和应用提供便利的载体。

2）资源目录管理平台以《政务信息资源目录编制指南》和相关政务信息资源共享政策为依据，提供政务信息资源的编目、发布、审核、资源挂载、下架的全流程管理，为信息资源门户提供配套的管理支撑功能，同时支持跨层级目录级联的功能。

3）数据交换平台为跨层级、跨部门、跨区域数据交换服务提供能力支撑，实现数据资源的调度和共享交换，数据交换平台可通过信息资源门户驱动自动化的数据库交换、文件交换以及API服务共享，实现数据资源的自动化共享交换。数据交换平台遵循政务信息资源共享交换体系，包括数据交换前置节点和数据交换中心节点，是城市级数据交换和数据共享应用的中枢。同时，面对数据交换量快速增加和数据安全要求逐步增高的要求，提供可扩展的集群管理能力和数据安全管理能力。

4）API平台提供API开发、测试、发布、维护、运行到下线的全生命周期管理，实现数据的实时交换、可信交换和应用程序编程接口网关管理。通过叠加授权鉴权、流量控制、并发控制、质量监测、黑白名单安全管理等功能，提供全生命周期的API网关管理能力。同时，实现与信息资源门户的无缝集成，方便需求部门的API申请和调用。

5）API服务底座为API提供弹性计算、资源隔离、资源共享和高性能并发的能力，是API的底层支撑平台，为API服务提供安全、高效、稳定的运行环境和智能化运维能力，通过动态的集群与负载均衡机制，有效保证了API的高性能、高稳定性运行。

6）用户权限中心提供全局的用户管理与权限管理，保证数据安全，实现统一认证，为多系统集成和权限管理提供统一支撑，同时支持与其它平台的无缝整合管理。

4  数据资源目录建设的重点和新要求

经过十多年的演化和发展，新时期的资源目录平台对资源目录分类、资源目录编制、申请审核机制、数据资源应用、数据资源管理等方面提出了新的要求。

图2　数据资源目录平台示例

1）资源目录编制自动化：资源目录就是全局数据的“一本总账”，好的账簿要有明确的分类，才能方便检索、定位。编制的要求不仅是按照资源属性、涉密属性、共享类型、层级等属性进行基础分类，还要在基础分类之上按照行业、领域、使用场景等进行精细划分，合理精确的分类是信息资源高效实用的基础，也是数据安全分级分类的基础。电子应用高速发展的时代，部门业务系统繁多，形成的信息资源更是数不胜数，元数据是资源目录编制的核心内容，纯粹的线上人工编制耗时耗力且准确性低，因此，支持自动化的EXCEL批量导入，（非）结构化元数据的自动采集，已成为必要手段。

2）线上审批与流程自动化：完备的数据申请、审核、授权和订阅机制是资源目录建设的重要组成部分。不仅是部门业务流转过程的重要体现，也是遵循“谁提供、谁负责，谁流转、谁负责，谁使用、谁负责”基本权责原则。资源目录平台提供线上、线下消息通知提醒、自动交换，根据有效期自动启停数据交换流程等功能。在日常办公过程中，很容易因为短时间内工作任务量大，导致某些审批搁置时间过长，产生忘记审批和忘记推送数据的情况，而消息通知、自动交换、自动启停等功能无疑又是为此类问题上了一道保险，从而避免不必要的绩效影响。

3）数据在线应用：传统的资源目录平台，资源目录主要是通过文字或者元数据来描述资源属性，无法实时直观看到这个资源背后真正的数据情况，更不可进行数据批量比对工作。经过一两天的申请审核流程，申请下来的数据不是预期想要的，更有相差甚远的情况，重新协调又需花费大量时间，往往迫于工作紧急性，只能先“有什么，用什么”，后续再协调改进，数据应用效率低下。考虑到这一因素，资源目录平台对已经审核通过的资源应当提供线上查询比对、自动生成数据API的功能，避开了这类“数据资源瞎子”的问题。

4）数据资源深化管理：数据资源目录建设的主要目标是打通部门壁垒，实现部门间数据资源的高效安全共享。那么，高质量的数据资源是实现有效数据共享交换的前提，数据质量、数据标准和数据安全属性也是数据资源目录的重要组成部分，也是各部门数据管理工作的重要成果。因此，需要在资源目录上展示数据资源的数据标准引用和贯彻情况，数据质量的监测规则和质量指标情况，以及数据安全分级分类情况，为数据资源应用方提供量化参考依据，促进数据资源有效利用，从而通过数据应用需求倒逼源头数据治理和数据质量的提升。

5）一体化目录级联：资源目录平台应当支持横向各部门资源归集、整合，向上支持目录级联，向下支持目录同步，致力于构建横纵一体、跨层级跨部门的城市级政务信息资源体系，加速一体化政务大数据体系的实现。

图3　全国一体化政务大数据体系总体架构图

5  数据交换平台建设的重点和新要求

数据交换平台是集库表交换、文件交换、API交换于一体的交换全流程管理平台，包括增量交换和全量交换，数据采集、传输、加工、清洗以及整合，主要解决跨区域、跨层级、跨部门、跨系统、跨网络的实时数据交换传输以及落地数据中心的需求，构建数据中心和数据仓库，打造星型和网状兼容的数据交换体系。

图 4　数据交换平台示例

在疫情防控的背景下，数据交换平台已经成为城市中不可或缺的数据交换枢纽，同时对数据交换吞吐量、数据交换及时性以及平台稳定性都提出了更高的要求，因此，根据我们的实践经验，分享下几个关注要点：

1）数据交换的技术保障：数据交换平台是多部门数据交换的枢纽，数据交换平台（前置机）的主要用户是各个职能部门，因此，从职责分工上来看，数据管理部门应当负责交换节点接入和数据交换培训，职能部门应当基于统一的数据交换平台负责数据发送、数据接受和数据交换流程设计。但是，鉴于部分职能部门技术力量薄弱的情况，不但数据交换平台应当通过一些可视化的方式降低平台的使用门槛，而且，数据管理部门应当为职能部门配套必要的技术支撑服务。从我们的实践经验来看，这是数据交换平台得以顺利应用的一个重要条件，也是数据交换平台不断收集职能部门需求和升级优化的重要途径。

2）数据安全三重保障：数据作为当下重要的生产要素之一，其中涉及到的价值不言而喻，保障数据安全是数据共享交换最基本的前提。一是引入部门前置机保护数据安全，前置机将各部门业务系统隔离开来，防止生产环境被渗透攻击，并且与以往点对点的交换模式不同，依托中心统管的交换模式，各部门只能管理和使用本部门前置机，部门间的数据交换工作由交换平台完成，有效的保护各部门的数据隐私安全。二是使用数据加密传输，对数据交换通道提供自动化加解密功能，交换过程即使受到拦截和攻击也无法获取明文数据。三是提供数据安全管控机制，通过数据安全管理模块，自定义识别敏感数据的策略，对信息资源元数据分级分类，取得部门授权后，自动化清除各部门前置机周期内全量数据。

3）数据交换主题管理：随着业务的不断发展，业务环境越来越复杂，数据量增长趋势一路攀升，面对各式各样的数据，如果不能进行分门别类管理，会极大加重日常的数据统计、分析和总结工作。交换平台应当能够按主题划分数据交换通道，按主题接入部门前置机，实现一部门多节点、一主题一节点、专项数据专用前置机等多种管理模式。例如按主题划分数据交换通道，能够支持按疫情防控统计各类疫情数据交换情况，为疫情研判、流调溯源、人员管控等分析工作提供数据支撑。

4）可视化交换流程设计：数据交换平台通过可视化流程设计器降低职能部门的使用门槛，无需准备任何开发环境，线上拖拽就能完成业务库数据到部门前置库的双向采集、加工、清洗等工作，轻松实现库到文件、文件到库、跨数据库转换过程，同时提供各类业务数据处理模板，支持对同类业务流程的可复制性，更低成本的辅助部门完成简易或复杂的数据交换流程设计工作。

图5　可视化交换流程示例

5）数据交换全流程管理：数据交换平台应当提供数据对账、交换监控、消息通知、预警提醒等功能，贯穿整个数据交换流程，解决交换过程中用户所有的疑虑和担心。例如遇到数据遗漏、丢失、失败、滞后时需要第一时间告知交换双方，以往都是通过运维人员手工发现问题，如果运维巡检不及时，就会出现业务停滞，严重还会产生业务事故。为改善以上情况，降低业务风险，交换平台应当支持业务库与前置库和源头前置库与目标前置库的全流程对账，扫清数据遗漏、滞后甚至宕机故障，方便问题溯源排查；同时，应当支持节点故障的短信、邮箱预警，交换任务失败的短信、邮箱预警，减轻运维压力；甚至，为了实现重要数据交换成功后的及时感知，应当支持数据交换成功后消息通知运维人员、数据提供方和数据接收方，降低三方数据交换的感知延迟。

6）实时数据交换：在“一网通办”、“互联网+政务服务”的发展趋势下，数据实时共享需求越来越多，最大化减轻办理人员压力，让客户现场来，现场办，最多跑一次，已是当下共享交换的新课题。数据交换平台应当支持实时交换，通过读取数据库日志的方式，实时获取前置库内数据的变化（增删改），并实时将数据变化更新到目标库，根据我们的实践经验来看，普通的交换前置机也可以实现分钟内百万条数据的同步。例如，在没有实时交换之前，办理生育登记和津贴领取、身后一件事、企业开办一件事等业务，最短也是隔天才能完成，如今只是喝一盏茶的功夫，这无疑是共享交换实践阶梯式的跨越。

7）高稳定、高性能、高扩展：鉴于数据交换平台在城市业务协同中的重要支撑作用，平台的稳定性、性能和扩展性已经成为不得不慎重考量的重要话题。因此，数据交换平台应当实现中心集群能力，包括对中心数据库、中心文件服务器、数据交换中心节点，实现负载均衡，搭建主备双活交换中心，主中心宕机后可自动切换至备中心，保持平台稳定运行。交换平台应当同时支持节点端集群，实行多节点协同工作，一节点管理、监控，多节点支撑交换调用请求。交换平台应当无缝对接资源目录平台，自动化接收数据交换请求，自动化创建交换任务；同时，对外提供可扩展统计接口，实现交换成果上屏等功能。

6  API平台建设的重点

当今复杂的数字生态系统由许多相互关联的部分组成。API平台作为看门人和连接器在其中发挥着关键作用——提供了许多最终用户甚至没有注意到的自动化机会和效率。API平台的主要目标是（1）基于数据中心的建设成果，创建自己的API，提供给各个职能部门调用；（2）接入各个职能部门的API，实现全市API的统一授权鉴权、流量控制、并发控制、质量监测、黑白名单安全管理等。

图6　API平台架构图

目前，职能部门基于数据安全的考虑，越来越多地通过API实现数据共享交换，各职能部门也对数据共享交换平台提出新的要求，包括接入便利性、数据安全性、平台可靠性等。因此，根据我们的实践经验，分享下几个关注要点：

1）API全生命周期管理：API平台应当支持API全生命周期管理，保障接口服务正常运行、降低系统性风险、降低开发和管理成本、提高管理维护效率，助力快速、安全、低成本地将能力、服务、数据以API的形式接入、开放和治理，构建健康的API生态系统，全面支持数据开放共享的建设要求，为数据应用提供可靠的技术支撑。支持每个API从开发、测试、发布、维护、运行到下线的完整生命周期管理，提供实时交换的网关服务支撑能力。支持API调用安全审计功能，精准识别使用者的身份。支持从多种维度分析和监控API，包括：可用性、正确性、响应时效等指标，并形成健康分析报告，便于全面了解平台API的健康情况。提供统一的API管理和数据集成解决方案，方便与业务系统进行集成。

2）API自助式开发：在数据共享交换和数据中心建设成果的基础上，数据管理部门需要将数据通过API的方式提供的职能部门使用，传统模式下，需要开发人员开发API服务，并经过一系列的安装部署工作，才能将API提供给数据需求部门。为了改变这一现状，API平台应当支持通过可视化配置的方式将数据转换为接口服务，无需编码，快速实现数据接口服务的开发，降低数据提供方的API开发成本，减少API调用方的等待时间。

3）API安全：API平台应当支持授权鉴权功能，每个数据申请部门都持有自己的公私钥，公钥用于请求发送和数据传输，私钥用于请求签名和身份识别，平台用于保证秘钥安全不泄露，从而保证数据共享交换的安全性；同时，可结合业务应用场景，分配不同鉴权码，方便后期通过鉴权码对数据应用的追溯、管理和统计；支持通过访问限流保障数据不被恶意抓取，通过并发限制保障API服务的稳定，通过黑白名单限制恶意访问，通过访问日志保障安全事故可被追溯，从而全方位保证API安全与稳定。

4）API监控：API管理包括对外部接入API的管理和自有API的管理，外部API或自有API的宕机将会造成API申请方的业务系统宕机，因此，API需要在第一时间感知API的故障或潜在风险。因此，API平台应当对API的可用性、准确性与响应时间等指标进行监控，一旦发现API不可访问，或API响应时间超过设定的阈值，应当以短信和邮件等方式通知相关运维人员，在对业务产生影响之前快速解决问题。同时，可用性、准确性和响应时间等监测结果也是对API提供方的重要评价依据。

5）高稳定、高性能、高扩展：与数据交换平台一样，API平台在城市业务协同中具有同样重要的支撑作用，API平台是所有API服务的统一出入口，平台的稳定性、性能和扩展性也是必须考量的重要因素。因此，API平台应当支持集群部署架构，具备弹性水平扩展能力，通过平台负载均衡、流量控制以及API服务底座的资源管理，保证数据实时共享，保障API服务和API平台的稳定高性能运行。同时，API平台应当支持与数据资源目录平台集成，将API文档信息对接到数据资源目录平台；数据资源上架审核通过后，API平台自动为数据资源创建对应的API；数据资源需求部门申请使用资源请求审核通过后，API平台自动为数据资源需求部门创建API鉴权码。

总结

数据共享交换平台是实现政务数据目录统一管理、数据资源统一发布、共享需求统一受理、数据供需统一对接、数据异议统一处理的基础支撑平台，是实现数字政府高质量发展的前提条件，因此，数据共享交换平台的建设应当适应新时期的高标准要求，实现政务数据实时交换，支持海量数据高速传输，实现数据分钟级共享，形成安全稳定、运行高效的数据供应链。