2020-08-21 14:00 浏览量:505
近三年,随着阿里数据中台战略的提出,以及各种数据应用场景的成功落地,企业和政府对自身数据资产的价值也前所未有的重视起来。但是,数据资产的价值发掘依赖于有序、完整和高质量的数据,数据治理则是保障数据质量和实现数据价值的基础,它包含一整套构建核心数据资产的方法论、规章制度和实施工具。
本篇文章就结合龙石数据的理论研究和实践经验,从以下方面展开描述,帮助大家揭开数据治理的面纱。
我们认为,数据治理是指从使用零散数据变为使用统一数据、从具有很少或没有组织流程到企业范围内的综合数据管控、从数据混乱状况到数据井井有条的一个过程。
所以,数据治理强调的是一个过程,是一个从混乱到有序的过程。从范围来讲,数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析,从源头到终端再回到源头,形成的一个闭环负反馈系统。从目的来讲,数据治理就是要对数据的获取、处理和使用进行监督管理。
具体一点来讲,数据治理就是以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集清洗、结构化存储、可视化管理和多维度分析,实现数据资产价值获取、业务模式创新和经营风险控制的过程。
所以,数据治理是一个过程,是逐步实现数据价值的过程,也正是因为这个过程特性,我们认为,数据治理是一个持续性的服务,而不是一个有着明确范围的一锤子买卖。
当前,企业变革已经成为企业适应剧烈变化的市场环境、实现长期发展的必经之路。然而,过去为组织带来工作效率提升的烟囱式的孤岛式的业务系统已经成为组织变革重组的阻力,这也是从数据层面打通各个组织单元、实现业务单元快速重组的最根本的需求来源。
并且,在互联网的冲击下,各行各业都在寻求业务模式的创新,实现业务自动化向业务持续优化的转变,以求在竞争中找到一片蓝海。而组织要能实现业务模式的创新,第一步就是对自身的洞察,以及提升组织的运行效率,方能在互联网背景中立于不败之地。
所以,以下就是企业实施数据治理的根本原因:
1、经过 30 年的信息化建设,企业和政府部门都围绕着业务需求建设了众多的业务系统,从而导致数据的种类和数量大增,看似积累了众多的数据资产,实则在需要使用时,困难重重。
2、因为各个业务系统的建设都是围绕着业务需求来建设的,当业务环境发生变化时,原来的业务系统不能互联互通,不能满足跨部门、跨职能、跨组织的协作需求。
3、各个业务系统所产生的海量数据以复杂而分散的形式存储,导致数据之间的不一致和冲突等质量问题,从而导致数据在应用过程中的无所适从,难以实现数据的深度利用,从而难以实现业务模式创新和经营风险控制。
数据治理本身不是目的,它只是实现组织战略目标的一个手段而已,例如基于需求的智能制造、智慧市场监督管理、融合市民服务、一网通办等。
从组织职能和体量大小方面来看,不同类型组织的数据治理目标大不相同,例如:
数据治理不只是技术问题,更是一个管理问题。例如大家常见的项目管理系统只是一个工具,如何让项目管理工具与项目管理思想相匹配才是项目管理系统实施过程中的最大挑战,也才能发挥最大的效果。数据治理也是同样的道理。
组织信息化建设正从以应用为中心向以数据为中心转变的关键时期,组织也逐步认识到数据的巨大价值,但低质量的数据和复杂的数据应用手段,让数据价值发掘的效果大大降低,甚至,会让组织决策层丧失数字化转型的信心。
那么,如果在项目实施的初期能识别出影响项目实施效果的困难,并找到相应解决办法,就显得异常重要。以下是龙石数据在工作中总结的最常见的数据治理问题:
1、跨组织的沟通协调问题。数据治理是一个组织的全局性项目,需要 IT 部门与业务部门的倾力合作和支持,需要各个部门站在组织战略目标和组织长远发展的视角来看待数据治理。因此,数据治理项目需要得到组织高层的支持,在条件允许的情况下,成立以组织高层牵头的虚拟项目小组,会让数据治理项目事半功倍。
2、投资决策的困难。组织的投资决策以能够产生可预期的建设成效为前提,但往往综合性的数据治理的成效并不能立马体现,它更像一个基础设施,是以支撑组织战略和长期发展为目标,所以,导致此类项目无法界定明确的边界和目标,从而难以作出明确的投资决策。面对此类情况,我们的经验是采用“大平台 + 小目标”的实施方案。“大平台”指的是数据治理的支撑平台。“小目标”指的是利用基础支撑平台和一小部分数据实现某一个具体业务目标。“大平台 + 小目标”方案的优势是能够快速实现可评估的工作成效,难点就在于基础支撑平台要能够对未来的综合治理提供足够的支撑能力,避免重头再来。以智慧市场监管为例,全部的数据包含企业法人监管、质量监督检查、食品监管、药品监管、特种设备监管、主题检查和执法等等,实施综合性的数据治理项目,则可以对企业法人实现全维度的分析和预警,而“大平台 + 小目标”的实施方案则可以实现诸如食品药品安全监管这些主题性的建设目标。
3、工作的持续推进。数据治理是以支撑组织战略和长远发展为目标,应当不断吸收新的数据来源,持续追踪数据问题并不断改进,所以数据治理工作不应当是一锤子买卖,应当建立长效的数据改进机制,并在有条件的情况下,尽量自建数据治理团队。
4、技术选型。前几年,随着大数据的发展,各种名词层出不穷,令人眼花缭乱,例如:数据仓库、ETL、元数据、主数据、血缘追踪、资源目录、结构化非结构化、Hadoop、Spark、联机事务处理(OLTP)、联机分析处理(OLAP)、商业智能(BI),等等。这里面有针对传统数据库的,有针对大数据数据库的,再加上组织对自身数据资产情况没有一个清晰的认识,这也就导致了数据治理的技术选型困难。而当下,基于传统关系型数据库仍然符合绝大多数据企业的业务需求,为避免误解,以下内容主要针对的是传统关系型数据库数据治理的介绍。
从我们龙石数据的实践经验来看,相对于国际组织和国际企业发布的数据治理框架,以下国家标准 GB/T 34960 发布的数据治理框架比较符合我国企业和政府的组织现状,更加全面地和精炼地描述了数据治理的工作内容,包含顶层设计、数据治理环境、数据治理域和数据治理过程。
图:国标 GB/T 34960 的数据治理框架
GB/T 34960.5-2018 的详细信息请参考:
http://www.gb688.cn/bzgk/gb/newGbInfo?hcno=F3B2108863A2292F5AF0FA645CEE047F
从技术实施角度看,数据治理包含“理”“采”“存”“管”“用”这五个步骤,即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。
作者介绍
苏槐,微信号 Sulaohuai,现服务于龙石数据,曾就职于神州数码、Oracle、新加坡电信等企业。擅长容器技术、微服务架构、数据治理及技术管理。
本文选自极客邦科技 InfoQ