2023-05-16 17:03 浏览量:530
基于流程挖掘视角下的数据要素利用研究
曹善文
(中国联合网络通信有限公司研究院,北京 100176)
摘要:流程挖掘作为跨数据挖掘与过程建模的关键技术,有助于发挥数据要素价值,但当前业内对流程挖掘技术、数据要素利用程度不足。基于要素特征及DIKW模型等分析,发现数据要素应用于流程挖掘具有直接性、动态性和外部性等特征,可通过业务牵引、要素整合、技术融合机制发挥要素价值。因而企业需要进一步强化流程挖掘技术应用积累、注重数字化治理体系建设、探索建立数据安全与共享的共存机制等措施促进数据要素价值最大化。
关键词:流程挖掘;数据挖掘;数据要素;运营管理
0 引言
数字经济时代下,随着数据存量不断加大、数据分析处理技术不断成熟,数据作为与劳动、资本、土地、技术、知识、管理并列的生产要素将对企业生产方式、社会运行方式、政府治理模式产生重大影响。数据要素已成为企业数字化转型升级的重要资源,可以有效促进企业创新能力升级,获得新的竞争优势[1]。企业生产运营的核心目标是为顾客提供更有竞争力的产品,包括提供新产品形态或提高现有产品的竞争力[2]。数据要素分为业务贯通、数智决策、流通赋能三次价值释放过程[3]。一次价值可使数据贯通推动企业整个业务流程有序运转;二次价值可进一步通过数据挖掘与分析,为业务提供客观的观察视角,清晰洞察业务过程;三次价值使企业业务从有序运转向智能运转转变。
一方面,数智决策可以赋能企业生产力提升及商业模式的演进,利用数据挖掘等技术为生产决策提供战略洞察,发现新价值。但直接基于历史数据的分析,如对促销、订货等相关性挖掘,发现很多时候并不能保证这些相关性挖掘能得到良好的决策或预测表现[2]。除了数据质量、过度拟合、算法规则等导致系统性误偏外,预期新价值的实现也存在一定试错成本、资源投入及不确定性。另一方面,从运营管理视角来看,企业价值构成中的无形服务要素的权重越来越大,顾客感知价值的多样性和动态性不断增加,对传统运营模式提出新的挑战[2]。顾客的决策行为变得更为复杂,既追求产品的个性化也追求服务过程的个性化,如是否能够及时、主动、有效响应客户在产品使用过程中的需求,这就需要企业加大对现有生产过程的关注力度。同时,数据洞察发现的潜在机会需要与生产流程重构及组织适配相结合,才能真正产生价值。例如,中国联通将流程、数据、场景、平台、工具作为数字化转型五要素,通过数据、流程的有效统一,推进管理、业务的智慧运营。而当前大部分企业对于数据的利用仅以统计分析、报表展示为主,应用层次浅、范围窄、力度小,缺少与业务的深度耦合,未能充分释放数据要素价值[4]。
根据IEEE(Institute of Electrical and Electronics Engineers)的定义,流程挖掘(Process Mining)是一门跨数据挖掘与业务过程建模分析领域的交叉学科,通过整合数据分析、图形可视化等技术,直接从客户及业务视角为企业运营管理效率赋能。流程挖掘已逐渐成为产业界数字化变革的重要工具选择,为数据要素在企业微观层面的应用提供了直接方向。数据要素及技术用于监控和分析生产流程资源消耗,及时发现异常进而实现生产过程的实时优化[2]。数据要素能够通过优化生产决策流程、创新组织体系,驱动企业从传统工业经济的科层制组织向网络制组织转变,提升企业创新能力,其实现路径在于基于流程挖掘的企业管理诉求的深度洞察[1,5]。但当前专门从流程挖掘视角出发对数据要素利用微观机制的研究较少,本文拟从流程挖掘技术发展、数据需求和特征,以及数据要素的利用机制等方面展开分析,以进一步完善数据要素在微观层面应用的底层逻辑,为企业充分发挥数据要素价值提供参考。
1 数据要素推动流程治理能力升级
随着20世纪90年代计算机技术的普及,企业开始大量应用信息系统来管理内部活动,进行大规模的信息化建设。在此背景下,美国学者Michael Hammer、James A. Champy[6]提出了流程再造(Business Process Reengineering,BPR)理论,强调企业在先进技术的冲击下,需要对业务活动进行基本(Fundamental)、彻底(Radical)、显著(Dramatic)的反思,对企业流程进行根本性的设计。在流程再造理论的影响下,无论是BPR或是流程改进(Business Process Improvement,BPI)均注重以流程建模、流程规划为起点开展流程设计优化。但流程优化变革从开始到落地周期较长,且随着市场环境的快速变化,难以实现对流程的精细化管理,极易导致业务与流程两张皮现象。传统业务模式需要以客户为中心进行重构,而仅仅通过点状的优化、依赖人工调研及判断的方式难以实现预期效果,因此亟需全局、多维视角的深度业务流程洞察。
企业经过大规模信息化建设、长期的生产经营积累了丰富的运营数据(用户交互数据、生产数据等),对这部分数据的挖掘利用可有效提升企业生产力、改善生产关系、提高治理能力、建立新的竞争优势。尤其对于数字化较为成熟的企业,数据资源丰富、质量高,能够提供更准确、更全面且更有预测力的决策建议,从而提升企业效益[3]。因此,对真实运行的业务流程进行数字孪生成为重要方向。得益于信息化的大规模普及,以及数据挖掘、机器学习技术的发展,对业务运行日志数据进行挖掘和分析成为现实。流程挖掘是基于IT系统日志数据对企业某项业务活动真实运行过程的可视化分析与诊断,进而对业务流程进行改进,被称为企业的“X光机”。流程挖掘可以在业务流程管理的关键环节甚至全部环节中发挥不可替代的价值[7]。
关于流程挖掘的发展,荷兰埃因霍芬理工大学(Eindhoven University of Technology)Wil van der Aalst教授[8]率先于1999年开始尝试相关方面的研究;于2002年推出首个流程挖掘算法Alpha Mine;并于2005年发布了业内第一个流程挖掘学术平台ProM。国际首个流程挖掘学术社区IEEE过程挖掘工作组(IEEE Task Force on Process Mining)于2009年成立,并于2011年发布《过程挖掘宣言》[8],推动流程挖掘技术演进及业务应用发展。商业化方面,2009年前后国外开始出现一些流程挖掘企业[8],如Futura PI(2007年)、Process Gold(2009年)、Celonis(2011年);由于国内企业信息化水平、流程体系建设水平、流程重视程度等相对滞后,流程挖掘市场需求仍处于市场培育期,普遍对流程挖掘技术应用不足。
2 流程挖掘数据要素需求、特征及技术路径
流程挖掘可通过对真实运行流程的可视化还原、诊断来精准定位问题,发挥数据及算法价值,结合组织管理需要对流程、系统、组织进行改进,实现企业的降本增效,优化生产关系,提高企业生产力。
2.1 流程挖掘数据要素需求
企业的核心数据要素是客户交互和运营数据,并基于数据洞察优化自身产品和服务,提升客户感知和黏性[9]。流程挖掘数据主要来源为生产系统中活动事件日志数据,包括时间戳、执行者、活动节点及关联数据。由于企业生产活动需要各职能部门协同,组织范围广、时间跨度大且实际生产场景复杂多变,因此需要从各个业务系统抽取数据,对不同类型及格式的数据进行采集、存储及清洗。
2.2 流程挖掘数据要素特征
(1)直接性。一般认为数据要素具有非排他性、非竞争性等经济特征,导致数据确权、定价及交易困难。相较于数据要素在宏观领域的应用,即企业除了赋能自身生产以外,通过交换、交易、分配等方式流入数据要素市场,直接获取收益或获得更丰富的数据要素为经济体系提供数据赋能。但数据要素作为企业竞争优势的重要构成,在相关制度尚待健全的情况下,一般化的共享、交易意愿不强。因此,企业内部应用流程挖掘技术对数据进行采集及共享,在微观层面不存在确权、交易、定价等障碍,可以直接最大化发挥数据要素一次及二次价值。
(2)动态性。外部环境的变化导致企业实际生产过程复杂多变,基于历史数据的预测模型存在概念漂移(Concept Drift),弱化了数据模型的指导意义。在线流程挖掘技术对事件运行数据进行即时分析,并构建预测模型来监测流程示例,直接对生产过程进行干预,如对预警流程提前终止,避免错误流程继续执行下去从而产生更大损失,提升执行过程的精准性,实现了动态数据—动态模型—即时决策的良性循环。
(3)外部性。流程挖掘可直接赋能企业各类生产活动,快速且显著提升业务运行效率,成功的流程挖掘实例可推动知识经验在企业部门间扩散。一方面,调动企业各业务线对数据要素的重视和利用,利用流程挖掘技术开展流程治理;另一方面,推动部门之间数据的开放、共享,进一步发挥数据要素及技术的溢出效应,推动公司整体业务生产及运营管理效率提升。
2.3 流程挖掘技术路径
流程挖掘技术路径具体如下。
(1)流程仿真。基于业务活动在各运营系统中的日志数据,基于流程挖掘算法及流程图算法,对业务过程进行流程建模,可视化还原真实流程运行轨迹。
(2)开展一致性分析。结合预先设计的流程模型、经验知识等,判断流程路径是否按照预期规则执行,以及结合实例数、运行时间等维度,分析主流程路径中堵点、断点,并对异常流程路径进行合规性、必要性分析。
(3)实施业务改进。基于一致性分析发现的问题,改进现有流程运行规则,如对于重复机械的活动应用机器人流程自动化(Robotic Process Automation,RPA)技术实现自动化,并通过持续的流程挖掘对流程运行情况进行实时预警。以流程为牵引推动企业各类生产要素关系优化,如推动组织架构完善、优化人员投入,实现企业运营管理的降本提效。
3 流程挖掘对数据要素利用的微观机制
企业的本质是一种资源配置机制,即将各类要素以一定组合有序投入生产,从而获得最大化价值产出的过程。随着市场环境变化、企业业务范围快速扩张,企业内部形成了纷繁复杂的流程。企业在生产流程中沉淀了大量数据,但往往分散于各个系统中,形成数据孤岛。因此,原始数据呈现低价值性、碎片化特征,只有经过收集、存储、分析等劳动投入之后才能成为具有使用价值的数据产品[10,12]。一般数据挖掘算法需要对数据进行预处理,如要求数据标准化、去掉极端值,其预测结果会由于过拟合或欠拟合而产生偏差,且无法回溯原因。流程挖掘可以基于系统沉淀的全量日志数据及数据挖掘技术,进一步直观展示业务的所有路径,尤其是对变体的观察可以从各个视角为业务的改进提供指引。
根据业内经典的数据—信息—知识—智慧模型(Data-to-Information-to-Knowledge-to-Wisdom Model,DIKW模型),数据要素由低到高可划分为数据、信息、知识和智慧四个层级(见图1)。流程挖掘实现了数据与业务生产的紧密衔接和融合,更为有效地实现数据要素从数据到信息、知识及智慧的演进。原始数据通过加工处理并结合业务理解形成信息,解决数据表征问题,即“是什么的问题”;信息通过数据挖掘算法,如归纳演绎形成知识,可以解释各变量之间的相关关系;知识进一步通过流程挖掘算法与业务过程分析进行结合,发现问题产生的原因,即因果关系,进而明确业务改进方向及组织优化关系,实现企业的智慧运营。
图1 基于DIKW模型流程挖掘应用
3.1 业务牵引机制
流程挖掘为数据要素利用提供了系统性方案,以业务视角切入整合各类跨系统数据并直接作用于业务改进,避免了数据滥用、减少盲目性和低效投入。
(1)关注企业整体价值实现过程。企业的高阶流程反映了企业从发现客户需求到满足需求的全部业务活动的组合,流程挖掘可以从端到端视角来横向整合各类相关数据,还原企业价值链,发现价值生产运营问题。并基于实时数据的分析与监控,为客户提供产品全生命周期的服务[2]。
(2)注重对异常情况的研判分析。流程挖掘基于某项业务活动的全量数据进行分析,除了能够对主干流程关键环节的运行时效、方式进行分析外,还可以发现特殊流程变体,及时发现不合规、不合理现象,降低企业运营风险。
(3)发现颠覆性创新机会。基于客观数据的分析能够减少人的主观偏见、消除认识误区,成为知识技能的创新媒介[3]。进一步将数据洞察与商业机理结合,发现新机会、新模式,重塑竞争优势并通过业务流程重构实现商业落地。
3.2 要素整合机制
数据要素洞察能够优化企业运行方式,重新配置各类生产要素,形成新的要素结构,提高资源配置效率、全要素生产率,驱动企业创新和治理能力提升[11-12]。而业内知名的集成信息系统体系结构(Architecture of Integrated Information System,ARIS)模型将企业中的流程、组织、数据、系统等要素进行结构化的梳理。在ARIS模型中,流程视图被作为核心控制模块用来记录数据视图、组织视图和功能视图之间的关系。由此,数据要素可通过流程挖掘实现对企业各类要素的整合和重构,其微观机制如图2所示。
图2 数据要素通过流程挖掘实现对各类要素整合的微观机制
在战略层面,准确识别时代发展机遇或数据经济机遇下的新市场、新机会,制定公司战略。进而通过战略解码,明确企业要开展哪些活动以及如何有序开展这些活动,即梳理公司的活动流、业务流与价值流,同步将强化创新、兼顾风险等管控要求纳入其中。基于流程挖掘发现的问题,进行企业价值流改进,并对企业中的组织、劳动、系统等生产要素进行有效串联、有机整合,实现最大化价值产出。如借助于RPA可以实现对规则明确、重复的业务环节进行自动化执行,优化劳动要素投入。
3.3 技术融合机制
把数据转化为生产力需要先进的数据分析及可视化技术,数据要素也有助于驱动生产技术的改进,提高创新效率[2,13]。流程挖掘横跨数据挖掘及过程建模领域,相较于传统标准化的流程模型,业务实际运行过程往往非常复杂,流程挖掘需要处理的数据量大、实时性高且各类流程活动关系复杂,需要尽可能以便于理解的方式对流程进行可视化还原。因此,流程挖掘技术不仅需要传统的大数据采集、存储及分析技术,还需要可视化图形技术对各类流程活动执行逻辑及相关关系的直观展现。流程挖掘需要反映各类流程活动节点、时间戳、执行者、决策点及活动之间的相关性和重要性程度,还要考虑日志噪声及模型准确性问题。由此产生了各类流程挖掘算法,如利用概率统计技术过滤或迭代模型适应度的方式解决流程挖掘中的日志噪声问题的启发式算法、遗传算法等;为解决流程结构过于错综复杂、结构化程度低等问题,利用模糊聚类方法对日志实例进行聚类的聚类算法、模糊挖掘算法等;利用决策树分析、机器学习技术进一步对决策点进行因果解释的决策挖掘算法等。不同流程挖掘算法为数据要素的深度应用提供了重要方向,可以最大化发挥数据要素的价值,赋能企业运营管理效率的提升。
4 以流程挖掘助力数据要素利用的建议
4.1 强化流程挖掘技术的应用及积累,快速发挥数据要素价值
流程挖掘作为连接数据挖掘与流程管理的交叉学科,有助于企业快速利用、放大数据要素价值,实现数字化智慧运营。当前,流程挖掘技术应用主要集中于信息系统完善、组织规模大、业务流程复杂的大型企业,如电信、金融、互联网等行业, 流程意识不足、技术成熟度偏低导致整体普及度不高。数据供给端,迭代、优化数据挖掘及流程挖掘算法,提升数据要素价值的可视化水平;增强流程分析、诊断、改进能力,提升流程预测监控结果的有效性、可执行性,更好满足企业业务需求。数据需求端,将流程挖掘融入数字化转型战略设计,通过外引内育提高流程挖掘能力储备,充分发挥系统日志数据对生产管理运营的直接赋能作用。
4.2 注重流程治理与数据治理相结合,提升企业数字化治理能力
企业数字化变革是技术创新与要素创新驱动下的经营发展理念、业务生产模式及组织管理模式的深刻重构。为了更好发挥数据价值,需要提升数字素养,积极将数据洞察与业务流程相结合,进一步加强系统治理、数据治理及流程治理联动的数字化治理体系,推动数字化战略落地[14]。建立规范的、跨系统的数据存储、采集、分析等标准规范,健全数据治理体系,尤其要提升日志数据质量及可用性。企业流程治理需注重从客户端到端视角出发,对企业业务活动进行梳理、重构,充分运用流程挖掘技术基于客观数据开展问题分析与诊断,提升流程治理的针对性和有效性。
4.3 探索建立数据安全与共享的共存机制,助力数据要素市场化建设
企业生产活动需要多部门的有机配合。企业业务数据分散于各类生产系统中,如客户关系管理(Customer Relationship Management,CRM)、企业资源计划(Enterprise Resource Planning,ERP)等,形成数据孤岛。流程挖掘是从端到端视角对企业生产过程进行分析,必然涉及各部门、各系统之间数据的拉通和共享,如进一步涉及产业链上的上下游企业,则各组织可能会由于竞争、隐私安全或缺乏信任而共享意愿不强。因此,在微观层面,流程挖掘对数据要素的利用需要兼顾数据安全与数据流通两全的制度设计。一方面,利用隐私计算、人工智能等技术,开发兼具隐私保护的流程挖掘算法,为数据要素“可用不可见”的实现模式提供有益探索;另一方面,企业可通过建设数据中台、成立数据归口管理部门、出台数据共享管理办法等方式,为数据要素的共享利用提供保障。但当前仍以管理控制为主,需要逐步探索建立数据要素收益分配的市场化机制,提升各部门主体对数据要素利用的积极性。
5 结束语
在数字化转型下,数据要素推动企业流程治理能力升级,而流程挖掘技术的发展提升了数据要素现实价值,依托直接性、动态性、外部性等特征,通过发挥业务牵引、要素整合、技术融合等机制,促进数据要素在企业内部微观层面的高效利用,助力企业实现智慧运营。目前,流程挖掘技术成熟度不高,需要企业进一步强化流程挖掘技术应用积累,提升数字化治理能力,探索建立数据安全共享的共存机制等,从而促进数据要素价值最大化。
Research on data factor utilization from the perspective of process mining
CAO Shanwen
(Research Institute of China United Network Communication Co., Ltd., Beijing 100176, China)
Abstract: As a key technology across the fields of data mining and process modeling, process mining helps to bring the value of data factor into play, but at present, enterprises have insufficient use of process mining technology and data factor. Based on the analysis of factor characteristics and DIKW model, it is found that the application of data factor in process mining has the characteristics of directness, dynamism and externality, which can exert the factor value through the business oriented mechanism, the factor integration mechanism and the technology integration mechanism. Therefore, the enterprises need to further strengthen the application and accumulation of process mining technology, attach importance to the building of digital governance system, and explore to establish the coexistence mechanism for data security and sharing so as to maximize the value of data factor.
Keywords: process mining; data mining; data factor; operation management
本文刊于《信息通信技术与政策》2023年 第4期