建设大数据平台，从数据治理谈起

       通过分析以上四类问题，可以看到传统数据平台面临的问题，在大数据时代不仅没有消失，还不断涌现出新的问题，传统的数据治理需要提升能力，来解决大数据平台建设过程中的这些问题。

       面向用户的大数据治理实践案例

       很多企业经过一段时间的摸索，已经看到了用户对大数据治理的这种需求，大数据治理也持续在各行业的大数据平台建设中得到关注。

       以某公司数据治理平台建设为例，该公司以元数据为基础，实现了贯穿数据设计、产生、存储、迁移、使用、归档等环节的数据全生命周期管理，以及数据从源端到数据中心，再到应用端的全过程的管理，做到了以用户为中心，通过大数据治理，为用户提供了更便捷、更灵活、更准确地获得企业大数据资产的能力。

       该公司的大数据治理的起点是先以元数据为基础，构建数据资产管理体系。从用户的视角说明白企业数据有哪些，哪些用户能够使用。在该公司的数据资产定义过程中，选择了贴近业务用户的数据分类方案，梳理和识别企业运营数据资源。

       基于第一步形成的数据分类管理体系框架，梳理、整合各级各类数据资源，建立了数据资产树，按照不同数据细类制定相应的工作模板，对指标数据和明细数据进行梳理和归并。

       所有资产梳理和控制的最终目标都是为了用户能够使用数据，通过L0–L1–L2三个层次的定义，以业务驱动为导向提高数据查询的实用性。

       通过梳理数据、管理数据、提供数据、关联业务，形成了一整套以用户为中心的大数据治理能力，最终为用户直接使用数据提供了帮助，从而使数据治理完成了从以管控为中心到以业务为中心的转变。

       面向用户的大数据治理该如何做，总结为以下四个阶段：

       在第一阶段，主要是对企业大数据的梳理，从而全面掌握企业大数据的情况，主要有以下三个方面。

       在第二阶段，需要建立大数据管控能力，包括从业务的角度梳理企业数据质量问题，形成质量控制能力，形成核心数据标准，并抓标准落地。针对关键问题，建立数据的管理流程，少而精，控制核心问题。

       在这个阶段主要是为数据部门形成一套管理大数据的能力，同时为数据部门形成数据管理的工作环境。

       通过前两个阶段，企业能够建立基本的数据治理的能力，在此基础上，还需要以用户为中心，为用户提供直接获取数据的能力。

       第三阶段依赖于前两个阶段能力的建设，在这个阶段的目标是向用户提供自助化的数据服务，使用户能够自助地获取和使用数据，并且在用户的使用过程中再反过去进一步落地标准、控制质量。

       最后一个阶段是将数据沉淀成为知识，形成企业的知识图谱，提供从“关系”的角度去分析问题的能力。

       一般来说，数据搜索是通过业务术语（知识）来搜索的，而知识之间是有相互联系的，例如水果和西红柿是上下位关系（后者是前者的具体体现），好的搜索除了要列出直接结果，还需要显示与之关联的知识，这就要建立知识图谱。

       简单说知识图谱就是概念、属性以及概念之间的关联关系，这个关系可以手工建立，也能通过自然语言处理等方法，对政策、法规、需求、数据库comments、界面等多种来源进行分析，自动化建立起企业知识图谱。从而使数据治理成为整个企业的数据工作环境，强化企业数据与知识体系之间的关联，加快企业员工数据与知识之间的转换效率，让数据的深层价值得以体现。

       通过这四个阶段的建设，使数据治理平台由数据部门的工作环境，转变成为全企业的数据工作环境，以用户为中心，让用户能够直接使用大数据，并通过用户的使用来管理数据，持续优化数据质量，在达到治理数据目标的同时，也最大限度发挥了数据的价值。

       以用户为中心的自服务大数据治理技术架构包括5部分：数据资产管理、数据监控管理、数据准备平台、数据服务总线，消息与流数据管理。

       整个平台分为5块核心能力：数据资产、数据准备、数据服务总线、消息&流数据管理、数据监控管理。

       a.数据资产管理是对企业数据信息统一管理也是整个平台的基础，数据准备平台是资产服务化的加工厂，它不但能将原始数据通过服务形式以用户能看懂的方式提供，也可以通过在线数据模型设计实现最终数据产品的发布，起到承上启下的作用。

       b.数据服务总线和消息&流数据管理的价值层次是一致的，只是从数据时效性上面对数据进行了区分，去适应用户不同的管理和应用诉求。起到数据通道和安全管理两个核心内容。

       c.数据监控管理有别于大数据中的数据节点管理，而是从数据管理的视角切入对数据的结构的变化、关系的变化进行管理和控制，它是数据持续发挥价值的监管者。

       知识图谱的构建，主要有以下三个步骤：

       数据内容安全管理包括对IT系统和数据进行敏感度等级划分的定义、浏览、检核，辅助安全规则在业务、技术领域的应用。

       从功能上包括数据敏感性分级、系统敏感性分级，数据安全策略定义管理，安全策略输出，安全管理报告，数据安全检核，敏感数据角色管理，敏感数据权鉴管理及相关电子审批流程。

       这里有4个关键点：

       通过自助化的数据生产线，数据使用方（业务人员）大大减少了对开发人员依赖，80%以上的数据需求，都能通过自己进行整合开发，最终获取数据。让所有用数据的人能方便得到想要的数据。

（4）多维度实时的数据资产信息的展示

       数据治理平台提供实时、全面的数据监控，不仅能从作业、模型、物理资源等各方面进行全面的数据资产盘点，还能对数据及时性、问题数据量等方面的数据健康环境进行全面的预警。

（5）以业务元模型为核心的数据微服务

       数据需要以服务的形式提供给最终用户，在服务的提供上不能再采用传统的方式，而需要用微服务的方式提供，每个单独数据微服务自己对所提供数据做缓存，在其中利用元数据能力，把知识（业务模型）与技术（数据模型）相结合，从而向最终数据用户提供多种数据能力，使用户能够以多种方式使用数据。

       最后在整个大数据治理平台的构建中还需要满足一系列原则，包括元数据、数据标准和数据质量，总结起来一共12个原则。