知识分类

文章推荐

数据质量管理参考体系：ISO9001 VS 六西格玛​

数据是数字化时代企业的重要资产，数据可以以产品或服务的形态为企业创造价值。既然数据可以是产品、可以是服务，那问题就简单了。虽然数据质量管理没有成熟方法论支撑，但是产品和服务的质量管理体系却已非常的成熟了。比如，国际上权威的质量管理体系IOS9001、六西格玛等体系方法，对企业的数据质量管理会有什么启发呢？

 

一、ISO9001质量管理体系

 

ISO9001质量管理体系标准是由ISO/TC176/SC2（国际标准化组织质量管理和质量保证技术委员会质量体系分技术委员会）负责制定和修订，旨在为组织质量管理体系的建设提供指导。采用质量管理体系是组织的一项战略决策，能够帮助其提高整体绩效，为推动可持续发展奠定良好基础。ISO9001质量管理体系结合了 PDCA（策划、实施、检查、处置）循环与基于风险的思维，过程方法能使企业策划其过程及其相互作用。PDCA 循环使得组织确保对其过程进行恰当管理，提供充足资源，确定改进机会并采取行动。基于风险的思维使得企业能确定可能导致其过程和质量管理体系偏离策划结果的各种因素，采取预防控制，最大限度地降低不利影响，并最大限度地利用出现的机遇。

 

图：ISO9001质量管理体系

 

ISO9001质量管理体系的核心思想是以客户为中心，强调领导作用、过程方法、持续改进、循证决策和关系管理。以下内容是根据作者对ISO9001质量体系粗浅理解和多年的数据治理实践，尝试给出企业数据质量管理的方法论，不免有所偏误，姑且用于学习和参考。

（1）以客户为中心

在企业的数据质量管理中，谁是客户？我认为在企业中凡是使用数据的“用户”都应该是数据质量管理的客户，包括：企业的中高层管理者、业务部门、IT部门、以及相关的业务系统或数据库。企业的数据质量管理必须要以用户的最终需求为中心，实现数据的可用、适用、易用。对于企业来讲，数据质量一定是越高越有价值，这点无可置疑。但是数据质量管理是一项管理工作，是会产生成本的。

我们在坚持“客户为中心”的原则同时要做好数据治理实施路线规划，紧密结合企业的数据管理现状，“客户要求”以及相关方的要求和期望，企业的数据治理不可“照搬照抄”，更不能“眉毛胡子一把抓”。

（2）领导作用

质量管理体系的建设特别强调领导作用，其实数据质量管理、数据治理甚至所有数据类项目“领导作用”都十分重要。企业的数据治理涉及范围广，协调难度大，要想获得项目的成功必须获得高层的支持，高层领导在数据治理体系中的作用：

a）企业数据战略的制定者和主要推动者，企业数据质量体系建设的决策层；

b）确保制定数据质量管理体系的方针和目标,并与企业环境和战略方向相一致；

c）确保数据治理体系要求融入与企业的业务过程；

d）确保提供企业数据治理及数据质量管理所需的各种资源；

e）推动建设企业数据文化、培养企业员工数据思维；

f）推动企业数据质量的持续改进；

g）推动实现企业数据治理/数据质量管理的最终目标；

h）数据治理过程中的重大问题决策和关键资源协调。

（3）数据质量策划

基于“以客户为中心”的原则，明确企业数据质量管理的目标，通过对企业数据质量管理现状的评估，制定适合企业的数据质量管理策略和计划。中医看病讲求“标本兼治”，企业数据质量管理也一样，因从引发数据质量问题的根源抓起。从管理入手，对数据运行的全过程进行监控，强化全面数据质量管理的思想观念，把这一观念渗透到数据生命周期的全过程。企业数据质量计划切不可“贪大求全”，应该“小步快跑”快速迭代，持续改进。企业数据质量管理的计划应具备以下特点：

a）与企业战略目标保持一致；

b）有明确的数据质量目标，并数据质量目标可实现、可测量；

c）要考虑到适用性要求，不能为了治理而治理；

d）要明确实现目标企业要采取的措施；

e）要明确所需的资源和指定负责人；

f）要明确实现目标的计划表。

（4）数据质量过程执行

根据定义数据质量目标和计划执行数据质量管理。

a）资源的准备。企业应确定并提供为建立、实施、保持和持续改进数据质量管理体系所需的资源，包括：现有内部资源的能力和约束；需要从外部供方获得的资源。

b）环境的准备。企业应对数据质量改进所涉及的应用系统、数据仓库和相关工具准备就绪。

c）定义数据质量维度和数据治理指标。

d）对目标数据集实施监控和测量，对测量出的数据质量问题进行汇总，形成数据质量报告。

（5）数据质量分析与评估

根据数据质量报告中的数据质量问题汇总，进行数据质量问题的评估和根因分析，确定数据治理改进策略和方案。

a）数据质量维度和数据质量指标的有效性；

b）分析并明确产生数据质量问题的直接原因；

c）分析并明确产生数据质量问题的根本原因；

d）分析并明确是否存在潜在的、类似的数据质量问题和风险，并找到它；

e）制定合适的数据质量改进方案；

f）明确数据质量改进计划和负责人；

（6）数据质量改进

企业应确定并选择改进机会，采取必要措施，满足数据治理目标要求和增强“客户”满意。这应包括：

a）必要的数据清洗和转换，修正错误数据、清理脏数据、补齐不完整的数据；

b）必要的数据模型优化、数据结构改进、应用程序改造；

c）必要的业务流程优化，数据操作培训；

d）必要的数据管理制度的约束和绩效考核；

最后，“数据质量管理是一场马拉松，而不是短跑”，企业需要考虑数据质量的持续改进和预防措施。

注：改进的例子可包括纠正、纠正措施、持续改进、突变、创新和重组。

小结：以ISO9001质量管理体系为指导，以“客户需求为中心”，以提高数据质量、提升“客户”满意度为目标，制定企业数据质量方针，实施数据治理策略实现企业数据质量管理的PDCA，即数据质量策划、实施数据质量管理、数据质量分析和评估、数据质量改进的闭环管理。

 

二、六西格玛质量管理体系

 

六西格码（6 Sigma）是基于度量的过程改进策略。六西格玛是一种改善企业质量流程管理的技术，以“零缺陷”的完美商业追求，以客户为导向，以业界最佳为目标，以数据为基础，以事实为依据，以流程绩效和财务评价为结果，持续改进企业经营管理的思想方法、实践活动和文化理念。这种方法背后的概念是减少过程中的差异，以达到一致且理想的结果。六西格码是一种严格的数据驱动方法和方法，旨在消除从制造到交易以及从产品到服务的任何过程中的缺陷。

其实，数据治理领域与传统行业的管理成熟度相比还是有很大的差距，数据治理的体系化的理论、方法都还比较匮乏，处于一个婴儿期。数据质量作为质量的一个子集，可以参照传统质量管理体系六西格码的思路和方法来管理企业的数据质量。

根据DMAIC模型我们将数据质量管理划分为定义、测量、分析、改进、控制六个阶段，每个阶段的主要工作内容：

 

 

图：6 Sigma质量管理体系

 

（1）定义阶段（D阶段）

定义阶段是DMAIC历程中最长的阶段之一，最重要的任务是界定数据质量治理的范围，并将数据质量改进的方向和内容界定在合理的范围内。通过使用主数据识别法、专家小组法、问卷调查法、漏斗法等方法，定义出数据质量管理的对象。该阶段还有一个重要的任务就是对数据的理解。这些数据稍后将在项目中用于识别可能发生质量问题的根本原因，进行统计测试等。因此，数据治理团队理解数据的含义、数据质量的规则以及何时使用它们、如何使用它们是定义阶段的当务之急。

企业数据质量治理一般主要包括两类数据：一类是离散数据，即无法进一步细分，数量有限且基于计数的数据类型，例如：通过考试的人数、账单上的错误计数或错误数、样品中的缺陷数量、一周中的天数、走进餐厅的顾客数。另一类是连续数据，即可以进一步细分的数据。连续数据可以采用连续规模的任何值，例如温度，重量，距离，时间，利润、货币等。

两类数据的比较如下：

连续数据	离散数据
更精确	不太精确
提供更多信息	信息较少
可以删除估算值和四舍五入的测量值	无法完全删除估算值
获取连续数据比较耗时	耗时少

 

（2）测量阶段（M阶段）

基于对数据治理对象的含义、质量维度、质量规则的理解后，需要选取以下若干个质量维度并定义每个维度的质量指标，建立数据质量测量及评估模型。此阶段的重点是确定需要量化的参数，测量参数的方式，收集必要的数据并通过不同的技术进行测量。

度量标准：度量标准，即需要测量数据集的数据质量维度和指标，质量维度我们之间已经介绍过，其主要包含一致性、完整性、正确性、有效性、及时性、唯一性等；质量指标是即衡量数据质量目标的参数，预期中要达到的指数、规格、标准，一般用数据表示。

操作定义：定义如何进行数据测量以及在操作中使用哪种测量类型。

数据类型：明确测量对象的数据类型是连续数据还是离散数据。基于此信息，将在项目的其他阶段中选择不同的统计分析或控制图。

测量频率：需要明确对测量数据集的测量频率。

测量工具：在测量阶段，可以使用不同的工具，例如控制图，基准测试等。

在此过程中，将分析输入数据源的结构完整性和一致性，有效的数值和范围，统计异常，重复的值，缺失的值以及其他违反业务规则或预期行为的数据错误。通过对数据集的测量，输出实际测量结果和预期的期望形成对比，找出差距。

（3）分析阶段（A阶段）

此阶段也被称为六西格玛的核心，因为此处执行统计测试以验证在测量阶段中确定的原因，并找到发生数据质量问题的根本原因。数据质量的根因分析是为了明确数据质量的原因和改进的机会。

分析阶段遵循一种追溯方法，从最初确定的各种潜在原因中找出确切的根本原因。通过数据分析，找到发生数据质量问题的重灾区，确定出影响数据质量的关键因素。此阶段从探索导致主要问题的所有可能原因开始。然后，通过假设和统计工具对这些原因进行验证和确认。此阶段的结果是经过验证的根本原因–需要采取行动以改善流程。

分析阶段需要格外小心，以识别和验证根本原因。因为通过六个西格玛项目改进数据质量管理过程的有效性取决于对根本原因的正确识别。数据治理的目标是提升数据质量从而提高数据分析和业务决策的准确性，通过使用六西格玛的经典工具进行数据分析，能够更准确、更直观的定位到发生数据质量问题的症结所在，找出数据质量问题发生的根因，再对症下药。

在分析阶段，常用的工具是：鱼骨图、帕累托图、5WHY分析、头脑风暴、假设检验，时间序列图和散点图等。

（4）改进阶段（I 阶段）

此阶段通过确定改进管理和业务流程、优化数据质量的方案。在此阶段，将咨询流程所有者并提出改进建议，明确改进的行动计划，并将改进行动计划分发给相关利益方，该行动计划规定–采取什么样的行动，谁来执行、何时实施等内容。随着改进行动计划的形成，实施阶段同时开始，在实施过程中，将采取相应的数据质量改进措施，通过优化数据管理流程，优化数据模型以及数据管理策略，最大化消除数据质量问题或将数据质量问题带来的影响降低到最小程度。

这里，再次强调企业数据质量的提升，不单单是技术问题，应将数据管理的技术、流程、工具以及组织和人员进行有效融合，以支持数据质量的持续改进。

（5）控制阶段(C阶段）

此阶段的主要目标是生成详细的数据质量监控计划，该计划可确保维持所需的能力，包括：固化数据标准，优化数据管理流程，并通过数据管理和监控手段，确保流程改进成果，提升数据质量。在此阶段，将评估实施后的结果，确定是否达到了预期的目标。在大多数情况下，控制阶段是过渡阶段，从当前的实践和系统过渡到新的实践。该阶段主要方法有：标准化、程序化、制度化等，该阶段还有一个很最重要是为所有利益相关者提供有关数据质量改进的培训和数据标准的宣贯，培养企业数据思维和数据文化。

小结：基于六西格玛的DMAIC模型为企业的数据质量管理提供一系列的原则、思路、方法和工具，他为企业数据质量管理提供了一个参考的框架，对于发现数据质量问题及如何改进提供了完整的解决思路。

 

三、ISO9001 VS 六西格玛，哪个更适合数据质量管理？

 

ISO9001是一个应用广泛的质量管理体系，能够帮助企业构建全面的数据治理管理框架，包括制定数据质量计划，实施数据质量管理计划，检查数据质量实施效果，优化管理策略和流程。同时，可以借鉴ISO9001质量管理思想，以客户为中心，建立数据质量管理的PDAC闭环管理流程和组织支撑体系，强调企业高层领导对数据质量管理体系建设和数据质量的持续改进的重要作用，切实使数据质量管理体系得到有效运行，保障数据质量的持续提升。

六西格玛是一个在制造行业广泛应用的质量管理体系，而数据质量管理相对于传统行业来说还是非常新的领域，管理的理论和方法都比较匮乏，六西格玛为企业数据质量管理体系的建设提供了可参考的完整视角。

相比ISO9001，六西格玛本身强调“以数据说话”，它配套的各种数据分析工具也非常更适合数据质量管理。

但由于六个西格玛擅长处理生产和计划流程等方面的内容，所以它也可能会产生僵化和官僚主义，增加企业数据管理的成本，甚至影响企业的创新能力。尤其对于一些中小型企业来讲，实施六西格玛进行数据质量管理将带来很高的成本，从投资收益比上来说，需要找到一个平衡。

不论ISO9001，还是六西格玛都是企业数据质量管理的参考框架。由于数据——这一个特殊的生产要素，具有可复制性、非排他性、可再生性等特点，注定传统的任何管理体系都不一定能够完全适配它。所以，在实际应用中，企业应探索一种敏捷的、精益的数据治理模式，在可控的成本范围之内，实现数据质量带来的利润最大化。

 

 

中翰软件：专注数据治理17年（http://www.jobhand.cn）

 

 

免责声明：本网站所发布的文章为本网站原创，或者是在网络搜索到的优秀文章进行的编辑整理，文章版权归原作者所有，仅供读者朋友们学习、参考。对于分享的非原创文章，有些因为无法找到真正来源，如果标错来源或者对于文章中所使用的图片、连接等所包含但不限于软件、资料等，如有侵权，请直接致电联系，说明具体的文章，后台会尽快删除。给您带来的不便，深表歉意。