数据空间
您当前的位置: 首页 /数据知识

谈谈数据质量管理在数据资源入表中的实施方法和路径

发布时间:[2024-01-06] 来源:网络 点击量:

摘要:数据资源入表是数据资产化的标志,数据资源是否能够顺利的向数据资产转化并计入资产负债表很大原因取决于数据的质量。本文系统的论述了数据质量管理在企业数据资源入表中的实施方法和路径,包括数据资源入表的背景、数据资源入表的方法、数据质量管理在数据资源入表中的定位以及数据资源入表中数据质量管理的方法和实现数据资源入表数据质量管理的路径及建议。本文的论述为当前企业数据资源入表中的数据质量管理提供了可行的思路和方法,希望能为企业数据资源入表起到借鉴作用。

一、数据资源入表背景

数据相当于数字化转型的“货币”。企业若能解锁数据价值,就能够充分发挥边缘到云端数据的作用。数据价值指的是组织从数据资产中获得的益处和优势,比如创新、服务、安全措施、改进决策、改善客户体验、提升运维效率以及开辟新价值创造模式。在当今的数字化经济时代,数据是组织的重要资产。近些年来,数据价值已取得显著增长。虽然产生的数据量惊人,但获取、存储、处理和分析数据的技术越来越便利,组织因而能够从数据中获得新洞见,进而做出数据驱动型决策。数据对于企业至关重要的原因如下:

第一,数据是一种重要资源。若妥善利用,可推动创新。组织通过利用数据和诸如人工智能与机器学习之类的尖端技术,可以获得解决问题的新思路,并推进所属领域的创新。

第二,数据可以帮助组织改善客户体验并提高客户忠诚度。组织可以通过利用客户数据,为客户提供个性化的产品和服务以及互动体验,这有助于提高客户满意度和忠诚度。此外,组织可以利用数据加深对客户行为的了解,发掘有利于业务增长和创收的新商机。

第三,数据可以帮助企业开辟新的价值范式。组织可以利用他们的数据资产开发新产品和新服务,以及洞悉新商机。组织还可利用数据建立新的盈利模式,比如向第三方销售数据驱动型洞见。

第四,数据对于企业安全措施的采用至关重要,因为数据可以帮助组织识别进而防范安全威胁。此外,组织还能利用数据开发预测模型,通过识别反映安全漏洞的行为模式检测潜在的安全事件,防患于未然。

最后,数据为组织提供宝贵的洞见,可帮助企业做出更明智的决策。组织可以深入了解其情况运营、客户以及市场,做出有利于提升总体效率和成效的数据驱动型决策。

那么如何衡量数据的价值呢?结合具体贡献和重要性来看待数据是最简单的价值衡量方式。诚然,收集、分析和存储数据难免会产生成本,但当数据真正带来盈利或用于决策时,诸多优势便会显现出来。众所周知,数据会贬值,因为数据价值会随时间的流逝而减少乃至消失。数据固有风险的水平往往可用于确定其价值:风险越大,价值越高。巨大的风险也昭示着数据具有同等水平的价值。领先的企业会在数据密集型问题尚未显现之前,便在策略和工具方面进行相应的投资。衡量数据价值的方法多种多样,包括:

如何利用数据为企业运营和决策提供支持、推动销售、提升生产效率,进而创造更多业务价值。

从外部来源获取同等数据所需的费用。

数据对于决策过程的贡献。

数据固有的价值涉及多项要素,比如准确度、完整性以及相关性。

保护数据收集和使用人员的隐私。

同时,数据价值具有随机性,且取决于具体的用例和使用场景。企业可以通过多种方式为衡量数据价值提供支持,包括:

数据质量评估:评估数据的准确性、完整性和相关性,以确定其信息价值。

数据盈利:评估可从数据中获得的潜在收入,包括通过销售数据或依据数据洞见开发新产品和服务。

数据治理:确保妥善管理和保护数据以维护其隐私价值。

数据分析:通过使用数据为决策提供支持,提高效率、增加收入,进而创造更多业务价值。

数据是具有价值的重要资产成为企业普遍共识。2020年中共中央、国务院提出将数据并列作为第五大项生产要素,围绕数据要素、数据资源、数据应用等相关政策和话题研究成为了社会关注的焦点之一。2022年12月中共中央、国务院发布的数据二十条明确了数据权属的三权分置,为数据向数据资产转化提供了重要基础。2023年8月财政部发布的《企业数据资源相关会计处理暂行规定》提出企业应当按照企业会计准则相关规定,根据数据资源的持有目的、形成方式、业务模式,以及与数据资源有关的经济利益的预期消耗方式等,对数据资源相关交易和事项进行会计计量、确认和报告。数据不仅是企业的重要资产,同时我国把数据上升为生产要素,既然是生产要素就要衡量其对企业的价值贡献,因此就要把数据资产的价值按照无形资产或存货计入资产负债表。

二、数据质量对数据入表影响

数据资源入表是数据资产化的重要标志!那么,数据资源入表也体现了数据的价值化和货币化,就需要对数据资产的价值进行的评估。根据《数据资产评估指导意见》,确定数据资产价值的评估方法包括收益法、成本法和市场法三种基本方法及其衍生方法。

在收益法中提到:要综合考虑数据资产的的更新时间、数据资产的时效性、数据资产的权利状况以及相关产品生命周期等因素,合理确定经济寿命或者收益期限,并关注数据资产在收益期限内的贡献情况。

在成本法中提到:确定数据资产价值调整系数,例如:对于需要进行质量因素调整的数据资产,可以结合相应质量因素综合确定调整系数;对于可以直接确定剩余经济寿命的数据资产,也可以结合剩余经济寿命确定调整系数。

在市场法中提到:对比该数据资产与可比案例的差异,确定调整系数,并将调整后的结果汇总分析得出被评估数据资产的价值。通常情况下需要考虑质量差异调整、供求差异调整、期日差异调整、容量差异调整以及其他差异调整等。

也就是说,无论采用收益法估值、成本法估值还是市场法估值,数据质量都对数据资产的价值产生重大影响。意味着入表的数据质量越高,数据资产的估值就会越高,入表的数据质量越低,数据资产的估值就是越低。数据质量影响数据资产化,数据资产化影响数据资源入表。因此,数据质量对数据入表就产生重要影响。

三、数据质量管理在数据资源入表中的方法

1.数据资源入表的方法

数据资源入表可以分为四大阶段十六项核心工作,如下图1所示。

 

image1.jpg 

1数据资源入表方法

 

第一阶段:政策解读

这一阶段需要企业的数据管理部门、信息管理部门、财务管理部门、法务管理部门及各核心业务部门需要了解数据资源入表的背景及政策,主要涉及以下几个国家政策及法规:

1)《关于构建数据基础制度更好发挥数据要素作用的意见》也叫“数据二十条”

2)《企业数据资源相关会计处理暂行规定》

3)《会计准则》关于无形资产和存货的认定相关内容

4)《数据安全法》

5)《个人信息保护法》、《网络安全法》及行业相关管理规定

第二阶段:入表准备

这一阶段是入表前的准备阶段,包括企业财务制度修订、数据资源标准化及数据治理、数据资源盘点、数据资源认定。

1)财务制度修订主要是指有些企业以往的财务规章制度可能没有数据类无形资产和存货的规定和要求,所以需要进行修订为入表做制度保障。

2)数据资源标准化及数据治理主要是企业针对数据资源要进行分类、编码、说明以及数据治理相关工作,以免同类数据资源在不同分子公司重复入表的风险。同时,标准化的数据资源也有利于管理,保障数据资源的质量,通过数据治理更好体现数据资源价值。

3)数据资源盘点主要是指按照分类将所属的数据资源盘清的过程,该过程有利于盘清数据资源底数,有利于数据资源质量保证,有利于资源向资产转化。

4)数据资源确认是根据盘点的结果确认为是企业数据资源。

第三阶段:入表阶段

这一阶段是正式入表工作开展,主要包括入表条件确认、资源价值评估、入表风险评估、数据资源入表及核查。

1)入表条件确认主要是确认作为资产的数据资源到底哪些是无形资产、哪些是存货、哪些可以入表、哪些无法入表。

2)数据资源价值评估在首次入表主要采用成本计价法入表,需要按照数据资产采集、维护、管理等各项成本计入,注意的是避免重复计价。

3)入表风险评估主要是根据数据安全法、个人信息保护法、行业法规要求进行核验,保证入表的数据资源是合规的。

4)数据入表及核查主要是确定入表的数据资源根据企业财务管理办法逐项计入,注意的是通过核查避免重复计入。

第四阶段:常态运行

数据资源入表是新开展的工作,是一项新事物,必然有个从开始到常态化管理的过程,因此在实践中要不断总结经验,加强行业和跨行业的入表工作交流,实现常态入表的实现。这一阶段工作主要包括持续数据资源入表、数据资源审计及数据资源披露。

1)持续数据资源入表类似于其他生产要素,实现常态化数据资源入表,数据是不断产生的、管理和运维工作持续进行、数据价值不断变化等,因此数据资产入表也是一项持续的工作。

2)数据资产审计类似于财务审计,也会有内部审计和外部审计,因此做好数据资产审计也是确保数据资产价值有效性的保证。

3)数据资产披露主要分为强制披露和自愿披露,不同行业性质不同,披露的要求和策略也不相同,因此企业需要根据自身的所在行业和特点制定相关的披露制度。

同时在数据资源入表时也要建立相应的组织保障体系,包括数据治理组织、数据管理组织、财务管理人员、法务合规管理人员等。数据治理组织开展制度、流程、考核机制建设;数据管理组织保障最大实现数据资产价值;财务管理人员客观评估数据资产价值;法务合规人员保障数据资产的应用符合法律法规的要求。

2.数据质量管理在数据资源入表中的定位

数据质量是数据向数据资源和数据资产转化的基础。数据质量不高将导致数据价值不高,就无法实现数据向数据资源和数据资产的转化,因此数据质量管理对数据资源入表起到至关重要的作用。数据质量的主要作用体现在数据全生命周期管理中的数据质量管理和数据治理中的数据质量治理,如图2所示。

 

image2.jpg 

2数据质量在数据入表中的定位

 

数据质量是企业取得成功的基石,是企业做出明智决策、提高运营效率和推动增长的基础,这也是数据的价值所在。数据质量差的后果可能是深远的,并且有损于企业的利润。例如,基于不准确的客户资料或依赖于过时信息的销售预测的营销活动,后果也是灾难性的,导致资源浪费、错失机会并损害客户信任。也就是说低质量的数据难以成为数据资产,从而影响数据价值导致无法入表。

在数据资源入表工作中建立强大的数据质量标准至关重要。下面我们从识别数据质量挑战、建立数据质量标准、明确数据质量目标、实施可衡量指标、实施数据清理、开展数据质量验证、持续数据质量监测等七个方面阐述数据生命周期中数据质量管理和数据质量治理的定位。

1)识别数据质量挑战

企业遇到的一项常见挑战是数据丢失或不准确。这种不准确可能会导致资源浪费和活动无效。组织必须实施确保数据可靠和最新的策略,从而最大限度地减少做出错误决策的风险。数据之间的不一致也是常见挑战。通常,组织内的不同部门维护单独的数据库,而没有用于集成或同步数据库的标准化流程。因此,当尝试从这些不同的来源分析或提取见解时,就会出现冲突。过时的信息是获取高质量数据的另一个挑战。在当今快节奏的世界中,趋势瞬息万变,客户偏好不断变化,过时的信息可能会阻碍准确的决策过程,从而阻碍业务增长。

缺乏标准化流程进一步加剧了组织内维护数据质量标准所面临的挑战。如果没有明确的数据收集、存储和管理实践指南,随着时间的推移,不一致会渗透到数据集中。这些不一致不仅影响日常运营,而且妨碍从数据中提取有意义的见解的能力。建立标准化流程对于确保整个组织内数据的收集、存储和管理的一致性至关重要。通过识别维护数据质量方面的这些常见挑战,组织可以制定适当的策略和解决方案来解决这些挑战。

2)建立数据质量标准

在数字经济时代,高质量的数据已成为企业的命脉。它是明智决策、运营效率和可持续增长的基础。然而,实现数据的高质量并非易事。下面我们探讨在企业内建立稳健的数据质量标准的最佳实践:通过定义明确的目标、实施可衡量的指标并培养持续改进的文化,企业可以更好地驾驭数据质量环境。

3)制定明确的目标

要成功开启卓越数据质量之旅,企业必须首先制定明确的目标。如果心中没有目的地,就不可能有效地前进。这些目标应与业务的总体目标保持一致,并考虑与数据准确性、完整性、一致性、及时性和相关性相关的具体要求。

通过在数据质量计划或项目开始时明确阐明这些目标,组织可以设定衡量进度的基准。例如,如果一家公司的目标是在六个月内通过提高数据准确性来减少10%的客户流失,那么这个目标就会成为推动他们努力的指路明灯。

4)实施可衡量指标

一旦在组织的数据质量框架内确立了目标,实施可衡量指标以准确跟踪进度就至关重要。如果没有这样的指标,监控改进或识别需要进一步关注的领域就变得具有挑战性。指标本质上可以是定量的和定性的。定量指标可能包括错误率或完整性百分比等指标,而定性指标可能涉及利益相关者对数据准确性或相关性的满意度的反馈。

通过根据预定义的目标或行业基准定期衡量这些指标,企业可以深入了解实现既定目标的进度。这不仅可以帮助他们确定需要改进的领域,还可以提供有关现有流程是否有效或需要调整的反馈。建立数据质量标准不是一次性的工作。它需要持续监控和改进,以确保数据随着时间的推移保持准确、可靠和相关。这就需要开发有效的流程,使组织能够识别数据质量问题、采取纠正措施并不断增强其数据资产。

5)实施数据清理

数据清理过程从识别重复记录开始。重复可能来自多种来源,例如手动输入错误或合并多个数据集。这些重复数据不仅消耗了宝贵的存储空间,而且阻碍了准确的分析和决策。为了应对这一挑战,企业可以采用先进的算法,根据名称、地址或唯一标识符等特定标准来比较记录。通过匹配和合并技术,可以成功识别和消除重复项。一旦组织成功解决了这些挑战并清理了数据集,他们就可以从高质量数据中获益。准确可靠的信息是做出明智决策、制定有效战略和推动企业高质量发展的坚实基础。

6)通过验证方法确保数据质量

数据是决策的核心,企业对其数据集的可靠性和可信度充满信心变得至关重要。为了实现这一目标,组织可以采用各种验证方法,每种方法都具有独特的优势和考虑因素。一种验证方法是手动验证检查。这种方法需要由拥有深厚领域知识的人类专家仔细检查收集的数据。手动验证检查可能非常耗时且占用资源,特别是在涉及大量数据时。此外,人为错误或偏见可能会无意中影响评估过程。为了缓解这些挑战并最大限度地提高效率,组织通常将手动验证与使用人工智能算法的自动化流程结合起来。自动验证方法提供了一种更方便的方法,同时保持高水平的准确性。通过利用机器学习算法和自然语言处理技术,企业可以自动化根据预定义规则或模式验证数据的过程。这样可以快速识别和标记数据集中潜在的不准确之处。

为了确保验证方法的有效性,企业应根据其特定需求制定明确的验证标准。定义这些标准有助于组织确定哪些内容构成其独特环境的准确数据。它涉及了解潜在不准确的根源并开发与期望结果一致的规则或算法。此外,持续监控在保持数据准确性方面发挥着至关重要的作用。定期评估验证流程的性能并根据需要进行调整可确保企业始终应对数据集中出现的挑战和变化。通过反馈循环进行持续改进使企业能够快速适应并随着时间的推移保持高质量的数据。

7)通过持续监控维护高质量数据

持续监控是维护高质量数据的基石,实施数据治理框架和建立定期审计以确保持续遵守定义的质量指标是非常重要的。

数据治理是指导企业维护高质量数据的指南针。它包含一组促进数据资产有效管理和利用的政策、流程和程序。通过建立明确的数据收集、存储和使用指南,企业可以在其运营中强制实施一致性。数据治理充当了防范低质量信息带来的潜在风险的守护者。

有效数据治理的核心是被称为数据管理员的专门人员的角色。这些人充当组织内有价值的数据集的保管人。他们负责确保遵守既定标准,同时发现改进机会。数据管理员对组织的目标有深入的了解,并与各个利益相关者密切合作,以推动数据质量的持续提高。

3.数据质量管理在数据资源入表中的方法

数据质量管理在数据资源入表中的管理方法主要包括数据资源资产化前的事前管理、数据资源资产化前的事中监测、数据资产使用后的事后评价以及数据资源和资产质量的持续提升,其管理关键点如图3所示。

 

image3.jpg 

3数据质量在数据资源入表中的管理阶段

 

1)事前管理

数据质量事前管理需要从数据的整个生命周期出发,对每个环节进行预防和监控。通过建立完善的数据质量事前管理体系,提高企业数据质量,降低数据风险,为企业的数据向数据资源转化提供可靠支持。事前管理的主要管理内容包括:

建立数据质量标准:制定数据质量标准和指标,明确数据的精度、完整性、一致性和及时性等方面的要求。根据实际业务需求,对不同类型的数据制定相应的质量标准。

规范数据采集和处理过程:制定统一的数据采集和处理规范,确保数据采集和处理过程的标准化和规范化。采用合适的数据清洗和校验方法,消除异常值和错误数据。

重视数据源管理:对数据源进行全面梳理和评估,确保数据源的可靠性和稳定性。建立数据源变更管理流程,确保数据源变更时及时通知相关人员,并进行必要的验证和测试。

建立数据质量监控机制:通过定期检查和监控数据质量,及时发现和解决潜在的数据质量问题。同时,建立数据质量评估机制,对数据质量进行持续评估和监测。

建立长效工作机制:根据组织特点,制定符合自身环境的工作制度,制定每个环节的工作流程,规定各个参与方的责任,确定各项数据的权威部门,制定数据质量指标,制定数据质量修复流程等等。

培训和意识提升:提高员工的数据质量意识和技能水平,使其能够按照规范和标准操作数据采集、处理、存储和分析等过程。

通过数据质量事前管理,可以提前发现并解决潜在的数据质量问题,避免问题发生后才进行处理,从而降低了数据质量问题的风险。同时可以对数据进行全面检查和评估,确保数据的准确性、完整性和一致性,提高数据的质量水平。因此,数据质量的事前管理是数据资源化的重要保障。

2)事中监测

数据质量的事中监测是指对生成的数据资源的质量有目的性的监测。数据质量事中监测的意义在于,可以在数据操作或数据处理过程中及时发现并处理数据质量问题,避免问题扩大化,提高数据的准确性、完整性和可用性。对数据资源的事中监测是保障数据资产价值稳定性的基础。事中监测的主要管理内容包括:

数据实时监测:在数据操作或数据处理过程中,对数据资源进行实时监测,及时发现并处理异常数据或错误数据,避免数据质量问题对业务和交易造成的影响。针对待管理的数据元素,配置数据相似性算法或数据关联性算法,在数据新增、变更、处理、应用等环节调用预置的数据质量算法,进行相识度或关联性分析,并给出数据分析的结果。通过建立数据质量预警机制,可以及时发现并解决潜在的数据质量问题。

数据质量评估:通过制定数据资源质量标准和指标,对数据资源进行质量评估,包括数据的准确性、完整性、一致性和及时性等方面。通过对数据资源的评估,可以及时发现并解决潜在的数据质量问题,从而保障数据资产的价值。

数据修复和纠正:一旦发现数据资源的质量问题,需要及时进行修复和纠正。数据修复和纠正包括查找错误原因、修正错误数据、重新验证数据等步骤,以确保数据的准确性、完整性、唯一性等。

数据审计和监控:对数据资源进行定期的审计和监控,确保数据的准确性和完整性。同时,通过对数据的审计和监控,可以发现并解决潜在的数据质量问题,持续提高数据的质量水平。

通过对数据资源的事中监测,可以帮助企业识别数据资源潜在的质量问题,如数据质量低、数据不准确等,并及时采取措施进行修复和纠正。同时,数据资源的质量也决定了数据资产的质量和价值,因此数据资源的事中监测是确保数据资产价值的重要环节。

3)事后评价

数据入表中数据质量的时候评价主要关注数据质量对数据资产价值的影响。数据质量对数据资产价值有着重要的影响。高质量的数据可以提供更准确、更可靠的信息,从而在决策、业务操作和创新等方面发挥更大的作用。相反,低质量的数据可能会导致决策失误、业务风险和数据安全问题,从而对数据资产价值产生负面影响。事后评价的主要管理内容包括:

数据质量对数据资产价值的影响评估:评估数据质量对数据资产价值的影响程度,包括数据质量的高低如何影响数据资产的价值、数据质量问题对数据资产价值的影响等。

数据资产价值与数据质量的关系评估:评估数据资产价值与数据质量之间的关系,包括数据质量与数据资产价值之间的关联性、数据质量对数据资产价值的影响程度等。

数据质量管理措施的评估:评估企业采取的数据质量管理措施的有效性,包括数据采集、处理、存储和分析等环节的质量控制和管理措施是否得当、是否能够提高数据质量等。

数据质量与业务应用的关系评估:评估数据质量与业务应用之间的关系,包括高质量的数据如何支持业务应用、低质量的数据如何影响业务应用等。

通过对这些方面的评估,可以更好地了解数据资产价值和数据质量之间的关系,为企业数据资产增值提供重要基础,比如数据质量的优化改进策略与数据资产增值的路径关系等。

4)数据资产质量的PDCA

PDCA循环,即Plan(计划)、Do(执行)、Check(检查)和Act(行动)的循环,是质量管理的基本方法。在数据入表的数据资产质量管理中,PDCA同样适用。

Plan(计划):在数据入表的数据质量管理中,计划阶段主要是确定入表数据的数据质量的目标和策略。这包括确定需要关注的数据类型、设定数据质量标准,以及确定如何去实现这些标准。此外,还需要明确责任和任务分配,制定详细的实施计划。

Do(执行):在执行阶段,根据计划阶段设定的目标和策略,开始进行实际的数据处理和分析工作。这包括数据的采集、清洗、存储、处理和分析等环节。在执行过程中,需要确保按照既定的标准和流程进行操作,以保障数据的质量。

Check(检查):检查阶段是对执行阶段的结果进行评估和检查。这包括对数据进行质量检查,以确保数据符合既定的质量标准。此外,还需要对数据处理和分析过程进行审计,以识别可能存在的问题和风险。

Act(行动):在行动阶段,根据检查阶段的结果,采取相应的措施来改进数据质量。这可能包括修复数据问题、调整数据处理和分析流程、培训员工等。行动阶段的目标是持续改进数据质量,确保数据始终符合企业的需求和标准。

数据资产管理中数据质量的PDCA新周期开始于:

①现有数据资产的数据质量测量值低于目标值。

②新数据集增加到数据资产中。

③对现有数据资产提出新的数据质量要求。

④业务规则、标准或期望发生了变更。

PDCA循环在数据入表数据质量管理中的应用可以帮助企业建立完善的数据质量管理体系,通过持续的质量改进活动,提高数据质量,从而提高数据资产的价值。同时,PDCA循环的循环不止的特性也使得企业可以持续优化和改进数据质量管理流程和方法,不断提升数据质量管理的水平。

四、数据质量管理在数据入表中的实施路径

数据质量管理在数据入表中的实施路径包括制定数据资产标准、搭建数据资产质量平台、实施数据资产质量监控、开展数据资产质量评价和强化数据资产质量运营五个阶段,如图4所示。

 

image4.jpg 

4 数据质量在数据入表中的实施路径

 

1.制定数据资产标准

数据资产标准是数据资产质量得到保障的基础,数据资产标准包括数据资产分类标准、数据资产编码标准和数据资产描述标准。

1)数据资产分类标准

对于企业而言,数据资产的分类目前看有业务视角、技术视角和场景视角等分类,现实情况看起来还比较初级,分类思路还是站在技术的层面看,未能按照数据作为产品的视角去分。未来,在企业内部数据资源入表实际上是参考了数据的产品、物资或设备属性,也就是把数据作为了生产要素,那么数据资产的分类是否也可以按照产品的视角进行分类呢,也就是把数据资源作为物料分类的一部分。表1是数据资产在企业内部的分类示例:

 

image5.jpg 

1数据资产分类示例

大类

中类

小类

 

 

01数据集

 

 

 

 

 

0101原始数据

 

 

 

 

 

010101内部数据

 

 

 

 

010102外部数据

 

 

 

0102加工数据

 

 

 

02算法集

 

 

 

 

03APP