Moonbox

中台，我理解是能力的下沉，数据处理能力下沉为加工平台，数据处理结果下沉为数据资产。那么数据治理能否下沉？可以下沉出什么东西？ ——宜信数据中台负责人 卢山巍 本文来源：宜信数据中台负责人卢山巍在亿欧产业互联网频道“数字中台创新”沙龙的分享实录 原文首发：亿欧 亿欧产业互联网频道10月24日在上海InnoSpace落地“数字中台创新”沙龙，活动汇聚了良品铺子电商技术中心总监罗轶群、爱驰汽车科技信息总监杭瑜峰、宜信数据中台负责人卢山巍、ThoughtWorks首席咨询师及极客时间《说透中台》专栏作者王健、亿欧华东负责人缪国成、亿欧产业互联网频道副主编黄志磊、亿欧产业互联网频道作者龚晨霞参与分享，就数字中台话题展开深度讨论。 宜信是一家成立于2006年从事普惠金融和财富管理业务的金融科技企业，2018年基于四大开源平台和中间件等技术，开始研发数据中台，并在宜信内部推广使用。目前，宜信的中台部门一共分为两大板块：数据中台和AI中台。 以下是卢山巍演讲观点梳理： 1、宜信数据中台指导思维：统一建设、敏捷开发 2、从开源到中台，关键词是自助化 3、数据治理，更依赖人治还是自治？ 以下是演讲速记实录，经亿欧产业互联网频道整理，供行业人士参考。 大家下午好，我叫卢山巍，来自宜信。刚才听罗总高屋建瓴地介绍了中台的概念和应用，受益匪浅。我的分享会不太一样：第一，我有一个限定词是“数据”

内容来源：宜信技术学院第11期技术沙龙|宜信数据中台全揭秘（一）数据中台整体介绍 主讲人：宜信数据中台解决方案架构师 裴国强 PPT下载：链接: https://pan.baidu.com/s/1eSkSdUo6FmYFmcE4xg0vjw 密码: 99uh 一、数据中台定位 1.1 ADX整体简介-中台定位 首先对中台的服务范围说明： 企业级：针对是整个企业的所有业务部门，横向贯穿整个业务线的数据，纵向贯穿整个数据生命周期，从最开始的数据采集（DB，日志，消息，文件），入湖，标准化，开发（批量作业，流式作业）维度表，最后到数据服务和数据应用。 复用：复用的范围包括，能力的复用，逻辑的复用，数据资产的复用，算法的复用。 能力：对平台能力进行抽象，对于不同平台的对能力的抽象，业务平台（流程控制，管理，审批，权限「等级，继承」，调度），数据平台（批量，流式，UDF，UDAF,数据质量，血缘分析，数据地图，调度，数据资产管理，权限，数据服务）。 分横向和纵向两个方面： 横向划分 大数据基础集群：更贴近硬件的平台，负责提供稳定及高可用的计算运行环境，及安全的数据存储环境 HDFS-数据湖的基础存储，存放表每天的快照，和增量数据。 KUDU-最新快照,用于即席查询，数据服务，流式数据快照。 ClickHouse-Clickhouse做DW和DM层的存储。 数据中台 ：对数据能力的抽象

导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。 在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。 在下篇技术篇中，我们会进一步给出实时数据平台的技术选型和相关组件介绍，并探讨不同模式适用哪些应用场景。希望通过对本文的讨论，读者可以得到一个有章可循、可实际落地的实时数据平台构建方案。 一、相关概念背景 1.1 从现代数仓架构角度看待实时数据平台 现代数仓由传统数仓发展而来，对比传统数仓，现代数仓既有与其相同之处，也有诸多发展点。首先我们看一下传统数仓（图1）和现代数仓（图2）的模块架构： 图1 传统数仓 图2 现代数仓 传统数仓大家都很熟悉，这里不做过多介绍，一般来说，传统数仓只能支持T＋1天时效延迟的数据处理，数据处理过程以ETL为主，最终产出以报表为主。 现代数仓建立在传统数仓之上，同时增加了更多样化数据源的导入存储，更多样化数据处理方式和时效（支持T＋0天时效），更多样化数据使用方式和更多样化数据终端服务。 现代数仓是个很大的话题，在此我们以概念模块的方式来展现其新的特性能力。首先我们先看一下图3中Melissa Coates的整理总结： 在图3 Melissa

中台，我理解是能力的下沉，数据处理能力下沉为加工平台，数据处理结果下沉为数据资产。那么数据治理能否下沉？可以下沉出什么东西？ ——宜信数据中台负责人 卢山巍 本文来源：宜信数据中台负责人卢山巍在亿欧产业互联网频道“数字中台创新”沙龙的分享实录 原文首发：亿欧 亿欧产业互联网频道10月24日在上海InnoSpace落地“数字中台创新”沙龙，活动汇聚了良品铺子电商技术中心总监罗轶群、爱驰汽车科技信息总监杭瑜峰、宜信数据中台负责人卢山巍、ThoughtWorks首席咨询师及极客时间《说透中台》专栏作者王健、亿欧华东负责人缪国成、亿欧产业互联网频道副主编黄志磊、亿欧产业互联网频道作者龚晨霞参与分享，就数字中台话题展开深度讨论。 宜信是一家成立于2006年从事普惠金融和财富管理业务的金融科技企业，2018年基于四大开源平台和中间件等技术，开始研发数据中台，并在宜信内部推广使用。目前，宜信的中台部门一共分为两大板块：数据中台和AI中台。 以下是卢山巍演讲观点梳理： 1、宜信数据中台指导思维：统一建设、敏捷开发 2、从开源到中台，关键词是自助化 3、数据治理，更依赖人治还是自治？ 以下是演讲速记实录，经亿欧产业互联网频道整理，供行业人士参考。 大家下午好，我叫卢山巍，来自宜信。刚才听罗总高屋建瓴地介绍了中台的概念和应用，受益匪浅。我的分享会不太一样：第一，我有一个限定词是“数据”

【宜信技术沙龙】是由宜信技术学院主办的系列技术分享活动，活动包括线上和线下两种形式，每期技术沙龙都将邀请宜信及其他互联网公司的技术专家分享来自一线的实践经验，分享内容覆盖金融科技及软件研发等主要技术领域，旨在为金融科技行业提供可落地实践的解决方案，为金融科技从业者带来思路想法上的启发。 【技术沙龙002期】数据中台：宜信敏捷数据中台建设实践|宜信技术沙龙 将于5月23日晚8点线上直播，点击报名 一、导语 2019年，“中台”成为软件研发行业的发展趋势，宜信技术团队从2018年便开始便在CTO向江旭的领导下布局中台战略，目前AI中台、敏捷数据中台等已经在宜信的各条业务线中得以应用，提升了宜信的技术服务效率。 5月23日晚8点，宜信技术学院邀请宜信数据中台团队负责人卢山巍直播分享宜信敏捷数据中台的实践过程 ，内容包括宜信敏捷数据中台的定位和价值、数据中台的架构设计、数据中台在宜信业务应用中的典型场景3个方面。 大数据作为驱动业务发展的核心动力，在各种业务场景中都起到了重要作用，而数据中台能够提高数据服务能力、节约数据服务资源。本期宜信技术沙龙以数据中台为主题，希望通过分享宜信的技术实践经验，为软件研发行业对数据中台的应用落地带来参考和启示。 直播时间：5月23日20：00-21：00 二、分享话题及嘉宾介绍 【分享话题】宜信敏捷数据中台建设实践 【话题介绍