龙石数据-数据质量管理平台及应用实践分享

2021-12-29 10:09 浏览量:1467

 

尊敬的各位来宾、各位专家大家好,我是苏州龙石信息科技有限公司行业咨询总监孙晓宁,很高兴参加DQMIS2021第五届数据质量管理国际峰会,与各位专家共同研究和探讨数据质量管理的发展。

 

龙石数据一直致力于数据质量管理体系、评价体系以及标准体系的研究,并且自主研发了涵盖数据质量探索、问题管理、评价考核的全生命周期的数据质量管理平台。

 

下面给大家带来数据质量智能管理平台的分享,以及我们多年来在政务、金融、教育等行业的落地实践经验。

 

国家十四五大数据产业发展规划中提出了6项发展任务,为我国的大数据发展提供了指导方向。同时,也要求加强数据“高质量”治理,提高数据全生命周期的数据质量。

 

我国的大数据在经历了数据交换、数据汇聚和数据共享等基础建设工作之后,已经逐步向数据质量、数据生态和数据价值方面转变。在当前的深化发展阶段,如何提升数据质量,如何以高质量的数据促进数据共享和数据交易,是我们必须要面临和解决的问题。

 

那么在当前数据资产管理应用的深化阶段,在数据质量管理方面仍存在一些需要完善和进一步提升的空间。主要是表现在以下三个方面:

 

1,从数据提供方来看,源头数据质量意识薄弱,源头提供的数据质量有待进一步提高。

 

2,从数据建设方来看,在之前大数据发展的几个阶段,无论是政府还是企业在数据中心基础建设方面做了大量的投入,但是实际上,数据的建设效果尚未达到预期的目标。尤其是在面对复杂业务和海量数据方面,缺少必要的手段来衡量数据建设的成效和水平。

 

3,从数据管理部门来看,目前各个行业尚未形成完善的数据质量评价体系和管理手段,对数据质量管理缺少全局的指导和规划。

 

在实际的数据资产管理过程中,数据流通的各个环节都会产生数据质量问题,正是因为数据质量问题产生的原因千差万别,加上数据管理工作本身的复杂性,这也导致了数据质量管理一直是数据资产管理领域的难点。

 

通过对国内外数据质量管理理论的不断研究,结合数据资产管理的发展现状,以及我们在行业的落地实践经验,我们提出了数据质量管理四步走的解决方案,包括质量摸底、问题溯源、质量修复以及考核评价。

 

借此机会,龙石数据正式发布数据质量智能管理平台3.0版本。

 

数据质量智能管理平台历经了1.0、2.0、3.0三个大版本以及数10个小版本的迭代和优化,在1.0中重点实现了数据质量管理的支撑工具,在2.0中融合管理体系和闭环工作流程,3.0实现了数据质量管理的智能化和自动化,目前已形成技术突出、行业领先、经验丰富的数据质量管理平台。

 

 

平台遵循了我们提出的四步走解决方案,构建质量摸底、问题溯源、质量修复和考核评价的闭环工作流程,形成数据汇聚与质量提升的双循环,独立运转,相互监督,相互促进。

 

平台采用了基于hadoop体系的大数据技术和机器学习算法,深度挖掘数据质量问题,并依据不同的行业场景提供定制化的问题数据管理流程,将数据质量问题分派到责任人,实现数据质量问题的可控、可管和可追踪。平台采用“旁路监测”的技术实现方式,在不影响现有数据共享交换流程的基础上,将数据同步至大数据平台进行计算和分析,实现了千万级数据的分钟级监测,快速定位数据质量问题,实现数据质量的动态监测和实时感知。

 

 

数据质量智能管理平台在多年行业研究和实践经验的基础上,融合了12万个的国家标准、行业标准、地方标准,形成覆盖国标36344的数据质量评价体系,在实践过程中积累了7000多个核心规则。建立了数据质量规则的共识机制和反馈机制,同时平台结合行业场景,采用人工智能算法持续优化数据质量模型,在实际的使用过程中,只需一键接入评测数据源,就可以自动检测数据质量,发掘其中的问题。实现数据质量管理的自动化和智能化。

 

另一方面,数据质量管理工作需要相配套的管理体系和组织保障作为支撑,结合我们多年的实践经验,已形成科学、可行的数据质量管理体系,包括管理制度、工作方案、工作指南以及考核制度,保障数据质量管理工作有法可依、有章可循,推动数据质量管理工作的不断进步,提升管理能力。

 

平台采用“标本线”来衡量数据质量管理工作的工作成效,对存量数据治标,对增量数据治本,结合根因分析定位源头治理,推动源头业务系统和数据流程的优化,最终达到标本兼治的效果。

 

这里是我们平台的一些功能展示,平台支持5大类质量规则的可视化创建、问题数据管理以及质量综合分析。

 

下面分享一些我们在行业中的应用实践,案例一是大数据管理中心如何管理数据质量。大数据管理中心的主要职责是促进数据开放共享,而数据质量是上层业务应用和开放共享的前提条件。在实际的工作中,我们以管理制度建设和源头质量意识提升为抓手,制定数据质量管理体系、工作方案和评价体系,为数据提供部门、管理部门、数据应用部门提供工作依据。相对于目前的建设方、承建方两方工作模式,创新性的引入第三方数据质量管理,以第三方的视角科学、合理、客观的进行数据质量评价和管理工作,与数据治理团队亲密合作,形成数据汇聚与质量提升的双循环,独立运转,相互监督,相互促进,保障数据中心的建设成效,有效解决了大数据管理中心在数据质量管理工作中所面临的困境。

 

第二个案例是作为业务部门如何管理数据质量。对于一些业务条线多、系统多、数据复杂的部门,数据治理工作尤为困难,不仅要借助于先进的工具支撑,更需要精通业务规则和工作流程。因此,针对数据质量管理工作需要构建长效的工作机制,通过对现状梳理、核心数据确定、定岗定责等机制,按照谁登记谁负责,建立事前评测、事中控制、事后分析的改进流程,多源头、全方位、立体化的帮助客户解决数据质量问题,促进业务流程优化,提升业务风险预警能力。

 

数据质量智能管理平台自投放市场以来,受到了客户和行业的高度关注,也先后获得了多项荣誉,包括2020年信通院的数据资产管理优秀案例,以及多个省级、市级的荣誉奖项。我们也是一直秉承核心技术自主研发,目前已形成专利、软著等多项自主知识产权。 

 

多年来,龙石数据坚持核心技术研发,并将数据质量管理平台打造成我司拳头产品,同时基于DCMM和DAMA相关标准对数据资产管理平台进行了标准化重构和贯标,打造了以数据质量为核心的一站式数据资产管理产品体系。

 

以上就是本次分享的全部内容,欢迎各位同行交流和指正。龙石数据期待与各位同行精诚合作,共同探讨和研究数据质量管理的话题。

 

上一篇:【喜讯】龙石数据获江苏省人工智能新锐企业

下一篇:专注数据资产管理--龙石数据数据资产管理平台V2.0通过软件产品登记评测

  • 分享:
龙石数据
咨询电话: 0512-87811036,18013092598
联系我们
商务联系微信

商务联系微信

0512-87811036,

18013092598

咨询电话