数据空间
您当前的位置: 首页 /新闻资讯

大数据“矿难”,以及它的灾后重建

发布时间:[2019-12-04] 来源:和讯网 点击量:

  

  千里之堤,溃于蚁穴。说得是防洪大堤的故事。

  而在大数据领域,可谓万丈金山,毁于“爬虫”。

  大数据被誉为金矿是早些年的事情。称大数据为金山的,还有一人,那就是阿里巴巴的彭蕾。

  早年间,彭蕾在请王坚帮助阿里突破技术瓶颈时说,“阿里巴巴的数据就是一座金山,但不知道如何挖掘,现在是坐在金山上吃馒头。”

  现如今,因为爬虫事件,互联网版图上的大数据金山多有矿难发生。数据开垦受到不小的影响。爬虫事件一度导致诸多号称大数据智能风控/营销的公司停止了相关的业务,而与其关联的需求方里包括银行。

  大数据业务的停滞,直接导致了部分银行的部分线上业务的关停。对相关方而言,这简直是一次矿难,灾害波及的广度和深度都较大。

  灾后重建

  大数据的灾难发生后,我们不能因此而停止对金矿的挖掘,也就是不能因噎废食。灾后如何重建是个急需解决的难题。

  阿里有大数据,大金矿,银行同样也有。

  之前,有银行开展线上营销和服务,多是运用外部数据,原因是外部大数据技术较为成熟,而内部数据难挖。越是难挖,银行越不愿意去挖,后面的数据也越堆越多。更要命的是,因其底层数据逻辑不通用,且存储逻辑混乱,数据接口不一致,银行的数据矿山越大,其挖掘难度也越大。其实,银行也面临着“坐在金山上吃馒头”的窘境。

  基于当前的现实,也就是外部数据风险不可控,内部数据难挖掘现状。银行应该思考如何从顶层设计上做好大数据的内部重构,让数据标准逐步统一(一蹴而就地统一和服毒自杀没区别),让数据接口逐步统一,让内部数据可用,让金山可挖。

  数据因为沉淀得过久导致数据庞大,陈旧的数据存储和处理方式也导致数据难以统一。那么银行新成立的金融科技子公司在成立之初,或许可以考虑做好大数据的顶层设计,为未来的开放银行战略做好铺垫。

  换个姿势挖掘大数据金矿

  目前来看,爬虫事件的风险主要来自银行外部。这是因为爬虫技术的数据获取方式粗暴,且不合规。

  那么,我们应该因此而拒绝外部数据吗?

  当然不。

  可我们该如何利用外部大数据呢?除了选择合理合规的大数据公司或项目外,其实还有一个思路。

  近期,南京江北新区和长沙湘江新区有不小的动作。而较为一致的一个做法是,成立新区大数据平台。这些大数据平台依托当地政企数据以及金融数据,通过云服务架构,构建生态数据库,为经济发展增速提效。

  这种做法无异于自造数据金矿,无论是对当地企业还是金融机构都有不小的吸引力。

  对银行而言,在利用外部数据方面,与其猜疑私企数据的可靠性,不如花费一点心思考虑一下地方经济新区主导的政企大数据平台。不过,数据的采集、清洗、脱敏、流通等标准需要抓紧跟进了。

  虽然,最近所谓“制造信任”的区块链的概念比较火,但大数据矿难的出也让金融科技的发展有了不小的信任危机。大数据行业的标准规范,以及行业监管和自律才是行业灾后重建的关键。

 

中翰软件:专注数据治理15年(http://www.jobhand.cn


发表评论 共有条评论
用户名: 密码:
匿名发表