数据治理

1 为什么要进行数据治理？ 首先，数据是有价值的。根据埃森哲发布的“2035年之前各行业的平均GDP增长率”，单纯看自然增长，制造行业只有2.1%，但是通过数据以及由此衍生出来的人工智能加成之后，这个数字就晋升到第二名4.4%，数据的价值是相当可观的。 但是，数据的应用环境是有风险的。Facebook的个人隐私泄露事件，直接导致Facebook市值缩水640亿美元，扎克伯格也受到国会质询。 此外，数据的应用环境是低效的。为什么数据的应用环境是低效的？一是数据不可知，用户不知道自己有哪些数据，也不知道这些数据和业务有什么关系，虽然意识到了大数据的重要性，但是没有能解决自己业务所面临问题的关键数据或不知该如何寻找这些数据。二是数据不可用，数据需要一个漫长的开发过程，导致业务分析的需求，难以被快速满足。三是数据不可控，没有统一的数据标准导致数据难以集成统一，没有质量控制导致海量数据难以被利用，没有有效管理整个大数据平台的管理流程。 从上面三点的分析，就得出了我们数据治理的一个目标就是：合规、高效地产生数据价值。建立数据拥有者、使用者、数据以及支撑系统之间的和谐互补关系， 从全机构视角协调、统领各个层面的数据管理工作， 确保内部各类人员能够得到及时、准确的数据支持和服务。 2 如何合规、高效地产生数据价值？ 我们认为要合规、高效地产生数据价值一定不仅仅是技术层面的事情

1 为什么要进行数据治理？ 首先，数据是有价值的。根据埃森哲发布的“2035年之前各行业的平均GDP增长率”，单纯看自然增长，制造行业只有2.1%，但是通过数据以及由此衍生出来的人工智能加成之后，这个数字就晋升到第二名4.4%，数据的价值是相当可观的。 但是，数据的应用环境是有风险的。Facebook的个人隐私泄露事件，直接导致Facebook市值缩水640亿美元，扎克伯格也受到国会质询。 此外，数据的应用环境是低效的。为什么数据的应用环境是低效的？一是数据不可知，用户不知道自己有哪些数据，也不知道这些数据和业务有什么关系，虽然意识到了大数据的重要性，但是没有能解决自己业务所面临问题的关键数据或不知该如何寻找这些数据。二是数据不可用，数据需要一个漫长的开发过程，导致业务分析的需求，难以被快速满足。三是数据不可控，没有统一的数据标准导致数据难以集成统一，没有质量控制导致海量数据难以被利用，没有有效管理整个大数据平台的管理流程。 从上面三点的分析，就得出了我们数据治理的一个目标就是：合规、高效地产生数据价值。建立数据拥有者、使用者、数据以及支撑系统之间的和谐互补关系， 从全机构视角协调、统领各个层面的数据管理工作， 确保内部各类人员能够得到及时、准确的数据支持和服务。 2 如何合规、高效地产生数据价值？ 我们认为要合规、高效地产生数据价值一定不仅仅是技术层面的事情

中台，我理解是能力的下沉，数据处理能力下沉为加工平台，数据处理结果下沉为数据资产。那么数据治理能否下沉？可以下沉出什么东西？ ——宜信数据中台负责人 卢山巍 本文来源：宜信数据中台负责人卢山巍在亿欧产业互联网频道“数字中台创新”沙龙的分享实录 原文首发：亿欧 亿欧产业互联网频道10月24日在上海InnoSpace落地“数字中台创新”沙龙，活动汇聚了良品铺子电商技术中心总监罗轶群、爱驰汽车科技信息总监杭瑜峰、宜信数据中台负责人卢山巍、ThoughtWorks首席咨询师及极客时间《说透中台》专栏作者王健、亿欧华东负责人缪国成、亿欧产业互联网频道副主编黄志磊、亿欧产业互联网频道作者龚晨霞参与分享，就数字中台话题展开深度讨论。 宜信是一家成立于2006年从事普惠金融和财富管理业务的金融科技企业，2018年基于四大开源平台和中间件等技术，开始研发数据中台，并在宜信内部推广使用。目前，宜信的中台部门一共分为两大板块：数据中台和AI中台。 以下是卢山巍演讲观点梳理： 1、宜信数据中台指导思维：统一建设、敏捷开发 2、从开源到中台，关键词是自助化 3、数据治理，更依赖人治还是自治？ 以下是演讲速记实录，经亿欧产业互联网频道整理，供行业人士参考。 大家下午好，我叫卢山巍，来自宜信。刚才听罗总高屋建瓴地介绍了中台的概念和应用，受益匪浅。我的分享会不太一样：第一，我有一个限定词是“数据”

作者 | 蒋珍波 本文是数据治理系列文章的第三篇，主要讲数据治理中的重要工作：数据质量管理。 我将从数据质量管理的目标，质量问题产生的根源，讲到如何评估数据质量，如何贯彻数据质量管理流程，最后从取与舍两个角度谈谈我对质量问题的一些个人观点。 一、数据质量管理的目标 数据质量管理主要解决「 数据质量现状如何，谁来改进，如何提高，怎样考核 」的问题。 为什么这篇文章的标题中有“不忘初心方得始终”这几个字呢。因为最开始的关系型数据库时代，做数据治理最主要的目的，就是为了提升数据质量，让报表、分析、应用更加准确。时至今日，虽然数据治理的范畴扩大了很多，我们开始讲数据资产管理、知识图谱、自动化的数据治理等等概念，但是提升数据的质量，依然是数据治理最重要的目标之一。 为什么数据质量问题如此重要？ 因为数据要能发挥其价值，关键在于其数据的质量的高低，高质量的数据是一切数据应用的基础。 如果一个组织根据劣质的数据分析业务、进行决策，那还不如没有数据，因为通过错误的数据分析出的结果往往会带来“精确的误导”，对于任何组织来说，这种“精确误导”都无异于一场灾难。 根据统计，数据科学家和数据分析员每天有30%的时间浪费在了辨别数据是否是“坏数据”上，在数据质量不高的环境下，做数据分析可谓是战战兢兢。可见数据质量问题已经严重影响了组织业务的正常运营。通过科学的数据质量管理，持续地提升数据质量