个推如何采用Greenplum提高PB级别数据处理能力

以下内容仅供交流学习使用，如有侵权会及时删除。

大家好！我是来自个推的栗子，感谢Greenplum中文社区！今天我给大家讲一讲个推在Greenplum中的实践。那我们就直接进入今天的分享主题《个推如何采用Greenplum提高PB级别数据处理能力》

近年来，移动互联网、物联网、云计算的快速发展，催生了海量的数据。在大数据处理方面，不同技术栈所具备的性能也有所不同。如何快速有效地处理这些体量庞大的数据，令不少开发者为之苦恼。随着Greenplum的异军突起，以往大数据仓库所存在的很多问题都得到了有效解决，Greenplum也成为新一代数据库的典型代表。

今天，我将就个推在处理庞大的数据量时，如何选择有效的技术栈进行介绍，并结合自身业务场景，分析一下Greenplum在个推中的实践。

Greenplum助手:
首先，我们来看一下Greenplum诞生的背景。
2002年，互联网数据量正处于快速增长期，一方面传统数据库难以满足当前的计算需求，另一方面传统数据库大多基于SMP架构，扩展性能差。因此面对日益增长的数据量，SMP架构难以继续支撑，开发者需要一种数据库，可以支持分布式并行数据计算能力，Greenplum便应运而生。大家都知道，和传统数据库的SMP架构不同，Greenplum是一种完全无共享(Share Nothing)的结构，相比SMP，扩展能力明显提升。大家可以看一下这张图。Greenplum系统主要基于MPP架构，由多个服务器通过节点互联网络连接而成，每个节点只需访问自己的本地资源，包括内存、存储等。

现在让我们来详细的解读一下Greenplum的架构,,Greenplum主要由Master主节点和Interconnect网络层以及负责数据存储和计算的多个节点共同组成。

在Greenplum中，Master上有主节点和从节点两部分，两者主要的功能是生成查询计划、派发、协调Segment并行计算，同时通过Master维护global system catalog。 global system catalog这个全局目录存着一组Greenplum数据库系统本身所具有的元数据的系统表。Master通常不参与数据交互，Greenplum所有的并行任务都是在Segment的数据节点上完成的。因此，Master节点不会成为数据库的性能瓶颈。中间的网络层Interconnect，主要负责并行查询计划Dispatch分发，同时通过libpq网络连接协调QE节点上执行器的并行执行。

正是因为Interconnect的存在，Greenplum才能实现对同一个集群中多个PostgreSQL实例的高效协同和并行计算。结构图下方是负责数据存储和计算的节点，每个节点上多个实例。每个实例都是一个PostgreSQL数据库，同一机器上的实例共享节点的IO和CPU，而不同机器间相互独立。PostgreSQL在稳定性和数据处理性能方面较优，同时又有丰富的语法支持，满足了Greenplum的功能需要。

关于Greenplum的架构，如果大家想了解更详细的内容，可以去看一下之前社区做的内核分享，Greenplum中文社区的B站频道上是有视频可以看回放的。

接着，让我们再来看一下Greenplum的优势在哪里。

优势一：支持数据快速加载和并行计算，大幅提升数据处理效率

Greenplum的数据管道可以高效地将数据从磁盘传输到CPU，而目前市面上常用的计算引擎Spark在传输数据时，则需要为每个并发查询分配一个内存，这对大型数据集的查询十分不利。Greenplum能够并行加载数据，具备实时查询功能，可以对大数据集进行更高效的计算。

优势二：扩展性能增强

Greenplum基于MPP架构，节点之间完全不共享，同时又可以并行查询，因此其在进行线性扩展时，数据规模可以达到PB级别。目前，Greenplum已经实现了开源，并且社区生态活跃，对于使用者而言，也是极为可靠的。

优势三：功能性优化

Greenplum支持复杂的SQL查询，大幅简化了数据的操作和交互过程，而目前流行的HAWQ、Spark SQL、Impala等技术基本都是基于MapReduce所进行的优化，虽然部分技术也使用了SQL查询，但是对SQL的支持比较有限。

我们针对目前市面上的几款主流工具，进行了多维度的对比。大家可以看一下下面这张图，在图中，我们分别对Greenplum, phoenix，Impala+kudu的使用方式，优点和缺点进行了对比。Greenplum确实是一款非常优秀的数据库产品。

现在，让我们再来看一下Greenplum的容错机制.Greenplum数据库简称GPDB，它拥有丰富的特性，支持多级容错机制，具备高可用性能。下面我们将从三点来介绍下Greenplum的容错机制。

1．主节点高可用：为了避免主节点单点故障问题，Greenplum特别设置了主节点的副本（称为Standby Master），通过流复制技术实现两者同步复制。当主节点发生故障时，从节点可以成为主节点，完成用户请求并协调查询执行。

2. 数据节点高可用：Greenplum每个数据节点都可以配备一个镜像，在6版本之前其通过文件块级别的同步来实现数据同步；在6版本时，Greenplum采用WAL日志复制的方式来实现数据同步（称为filerep技术）。故障检测进程（ftsprobe）会定期探测各个数据节点的心跳，当某个节点发生故障时，GPDB会自动进行故障切换。

3.网络高可用：为了避免网络的单点故障，每个主机会配置多个网口，并使用多个交换机，防止网络故障时，整个服务器都不可用。

同时，Greenplum具有图形化的性能监控功能。基于此功能，用户可以确定数据库当前的运行情况和历史查询信息，同时跟踪系统使用情况和资源信息。

介绍完Greenplum的诞生背景，架构，优势和容错机制，现在我们来讲解一下Greenplum在个推业务场景中的应用。

在深入调研了Greenplum之后，我们将它纳入了个推的技术地图中，也在个推的业务线中进行了实践，比如在 “个推应用统计”的业务中。现在，让我们分别从业务痛点、解决方案、和使用情况三大块来具体介绍个推是如何应用Greenplum的。

一、业务痛点

“个推应用统计”是一款移动APP数据统计分析平台，它能从用户属性、使用行为、行业对比等多指标多维度对APP进行全面统计分析，帮助APP运营者深层次挖掘用户需求，清晰地了解APP所处的行业地位，为产品运营和推广决策提供全方位数据支撑。

最开始，“个推应用统计”中的数据统计主要是用离线统计的方式，后来随着产品的逐渐迭代、优化，很多需求逐渐无法满足了，例如：
1. 部分场景需要实时计算；
2. 用户活跃统计中跨天去重的场景；
3. 指标的统计维度过多，无法提前计算。

二、解决方案

针对这一系列问题，个推引入了Greenplum作为实时数据分析的工具。目前个推使用的是Greenplum 5.16的版本。

首先，针对实时性的问题。“个推应用统计”每天的事件日志量达几十亿条，在数据导入的时候，我们使用了gpkafka作为实时数据写入的方式。

数据导入的具体流程：
1. Flume采集日志数据后发送到Kafka集群；
2. Spark Streaming先消费Kafka集群中的数据，再进行实时数据清洗、处理；
3. Spark Streaming随后将处理后的数据写入到Kafka集群中；

gpkafka工具消费Kafka集群中的数据，把消费后的数据写入到Greenplum的Heap表中，进行实时的数据分析展示。

接着，针对跨天去重的问题。我们改造了Greenplum，在其基础上融入了Roaringbitmap。在数据处理阶段，定时任务将每天的用户信息构造成bitmap的格式，根据bitmap的“与、或”运算实现多天的用户计算查询。

针对复杂维度统计的场景。“个推应用统计”有一些场景，用户会定义复杂的查询条件，比如多维事件分析、漏斗查询等。 “个推应用统计” 查询功能模块，运用了pljava，类似于一个udf脚本，通过在SQL中使用pljava定义的function，实现了复杂统计的快速查询。

最后，我们来介绍一下个推的使用情况。

目前个推业务线使用的Greenplum集群规模是10台，每天的数据量达几十亿。在近期，我们也经历了集群的扩容，通过Greenplum中的原生tools对节点进行扩充，对数据进行了自动重分布。Greenplum的一系列自动化工具也让运维人员的的扩容工作变得更加便捷。

我们来说说个推引用Greenplum后，效果如何。

引入Greenplum，极大地增强了个推的数据处理能力，包括海量数据的实时入库、实时查询、标签运算等。当前，数据的高效使用对于企业的重要性不言而喻。构建OLAP分析系统，对于业务的指导、公司的决策，都有举足轻重的作用，而Greenplum正可以帮助企业快速构建分析引擎，实现全面的数据分析。大家可以看一下下图中的使用前后的对比。