大数据是否值得信赖——浅谈商业银行如何提升数据质量

  中国企业数据治理联盟（www.chinaedg.com/）

  进入》主数据管理       企业数据治理         信息资源规划         数据安全管理

  目前银行业进入了大数据时代，整个金融市场环境日益复杂，为提高我国金融市场的主体竞争力，银监会对金融机构的数据质量提出了更高的要求。普元数据治理专家将结合具体项目实践，站在国内银行的角度，为大家讲解在大数据时代下提升数据质量的办法…

  中国企业数据治理联盟

  国内银行为什么要着重关注数据质量？

  从近些年全球银行业的发展趋势来看，利用大数据分析确定发展战略，全方位推行数字化管理已经成为先进银行的共同选择，数据质量将成为判定海量数据是否值得信赖的关键因素，关系着商业银行的生死存亡。为此，银监会特意推出了《银行监管统计数据质量管理良好标准》，要求商业银行等大型金融机构定期上报数据信息，对其数据的准确性进行打分，并公布排名情况。

  国内银行在信息化建设过程当中，十分重视数据质量的建设。某家大型银行行长提出，“数据质量是数据分析的基础，没有数据质量的保证，数据应用只是空谈”。我们于2010年开始着手该银行的数据质量平台建设，经过6年的摸索发展，为其建成了数据管理平台，其中的数据质量平台，为该银行数据准确性大的幅提升做出了重要贡献。

  银行应把数据质量建设的重点放在哪里？

  这些年，我做过不少金融行业的数据质量项目，从各行的实践来看，全面提升数据质量，需要将重点放在两大方面：一方面需要多管齐下，建立全方位的数据质量管理体系；另一方面，为推进数据质量问题的有效解决，应将数据质量问题考核作为重中之重。

1 建立全方位的数据质量管理体系

  为建立全方位的数据质量管理体系，应同时关注组织、技术和流程三大核心部分，三部分相辅相成才能形成完整的数据质量管理体系。

  根据国内银行在业务上的一些共性，我认为银行业在数据质量建设方面要遵循“五项基本原则”，这五项基本原则恰好反映了我说的数据质量建设三大核心中的“组织”与“技术”两方面：

  1）全程监控原则：国内银行要对数据的定义、录入、存储、加工、交互和使用的全过程进行质量监控，并明确各部门在数据全生命周期中的责任，全方位保证数据质量。

  2）及时处理原则：国内银行应及时处理已发现的数据质量问题，并尽快协调相关部门推动开展问题有效解决的相关工作，避免存留的数据质量问题给业务带来不必要的麻烦。

  3）自动检核原则：国内银行应深入分析已发现的数据质量问题的成因，及时由IT部门将其转化为技术规则，落地到系统中，通过技术手段自动检核数据质量问题，提升数据质量检核效率。

  4）闭环管理原则：国内银行的数据质量管理应至少包括数据质量问题的发现、通报、整改和反馈这几个环节，形成数据质量问题的闭环管理。

  5）全员参与原则：数据质量管理涉及到多个方面，银行业务人员、技术人员和运维人员应共同参与到数据质量管理工作中来。

  对于三大核心部分中的“流程”部分，我结合在金融领域数据质量方面的项目经验，总结出了国内银行数据质量管理的一般流程，大体如下图所示：

  数据质量管理流程

  2 将数据质量问题考核作为重中之重

  为实现数据质量的切实落地，推进数据质量问题的有效解决，银行应将数据质量问题考核作为重中之重，将数据质量问题解决效果与部门KPI挂钩，减小数据质量落地难度，及时对发现的数据质量问题进行处理，为数据质量的推进提供驱动力。

  数据质量体系建设项目实践

  我们在某银行的数据质量平台建设全过程，大体可以分为三个里程碑。

  1）第一里程碑：搭建数据质量系统。借助数据质量管理系统自动对数据仓库进行检核,摸清数据质量情况，确认出现数据质量问题的重灾区。

  2）第二里程碑：定位问题责任主体。将数据质量问题检核提前到业务系统中来，将问题数据所在分行以及业务数据录入人一并获取到数据质量管理平台，从而为数据质量问题的追本溯源奠定了技术基础。

  3）第三里程碑：成立数据质量考核评价小组。为保证已发现的数据质量问题能得到有效地解决，设计出了分层级的考核体系，由数据质量考核评价小组对各家分行数据质量问题的解决效果进行打分，计入各家分行的KPI绩效考核中。

  在整个数据质量体系建设过程中，数据质量考核是落地保证，目前多种考核规则已经在这家银行的数据质量系统中运行，对银行内部多个业务部门进行了考核，考核范围包括多个重要的业务系统，检核出了各家分行的多项数据问题，大大提升了数据质量问题的修改率，涉及到超过数十亿的贷款额度。

  普元的数据质量管理平台

  “工欲善其事必先利其器”，数据质量管理平台是整个数据质量管理建设的支撑，下面我将简单介绍一下在整个项目中，我们的数据质量管理平台的架构。

  我们的数据质量管理平台集数据质量类别管理、检核方法管理、问题数据展现、问题数据趋势分析、数据质量报告等功能为一体，以度量规则和检核方法管理为主线，通过自身调度模块或者第三方调度为触发点，帮助企业建立统一的数据质量管理平台，系统整体功能架构如下：

  总结 

  综上所述，国内银行应快速适应国内复杂的市场环境，借助数据质量管理平台，将数据质量管理组织、技术和流程三者进行有机结合，在数据质量管理建设过程中遵循“五项基本原则”，同时将数据质量问题考核作为重中之重，最终实现提升银行数据质量的目标，支撑银行上层数据业务应用。中翰软件专注数据治理11年http://www.jobhand.cn/