GraphX

【推荐阅读】微服务还能火多久？>>> 本文转载自公众号： Spark学习技巧 作者：浪尖 原文链接： https://mp.weixin.qq.com/s/xcQOL2HyNB8Ro7QChu6Ngw 最近很多球友都说在准备面试，不知道准备点啥，尤其是spark，实际上浪尖分享的内容真的都掌握了，应对一般面试绝对没问题，但是遗憾的事情是很多人都是处于不会主动搜集资料，主动梳理知识，主动记忆整理知识，而是伸手要粮的境地。浪尖觉得这个是阻止你成长的罪魁祸手。前天跟朋友聚餐就说道这种情况，不努力，不加班给自己喂粮的，没有足够量和时间积累的人很难在一个领域里有所建树。 主动学习，保持激情，不断提高～ 言归正传，大部分面试者被面试的spark问题估计都会集中于spark core，spark streaming和spark sql，至于mllib和graphx这些估计都是了解项，当然也要逐 来源： oschina 链接： https://my.oschina.net/u/4408053/blog/3236737

3 月，跳不动了？>>> Spark大数据分析框架的核心部件 Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、Spark SQL数据检索语言、Tachyon文件系统、SparkR计算引擎等主要部件。这里做一个简单的介绍。 一、RDD内存数据结构 大数据分析系统一般包括数据获取、数据清洗、数据处理、数据分析、报表输出等子系统。Spark为了方便数据处理、提升性能，专门引入了RDD数据内存结构，这一点与R的机制非常类似。用户程序只需要访问RDD的结构，与存储系统的数据调度、交换都由提供者驱动去实现。RDD可以与Haoop的HBase、HDFS等交互，用作数据存储系统，当然也可以通过扩展支持很多其它的数据存储系统。 因为有了RDD，应用模型就与物理存储分离开来，而且能够更容易地处理大量数据记录遍历搜索的情况，这一点非常重要。因为Hadoop的结构主要适用于顺序处理，要翻回去反复检索数据的话效率就非常低下，而且缺乏一个统一的实现框架，由算法开发者自己去想办法实现。毫无疑问，这具有相当大的难度。RDD的出现，使这一问题得到了一定程度的解决。但正因为RDD是核心部件、实现难度大，这一块的性能、容量、稳定性直接决定着其它算法的实现程度。从目前看，还是经常会出现RDD占用的内存过载出问题的情况。

Spark Core是spark的核心与基础，实现了Spark的基本功能，包含任务调度，内存管理，错误恢复与存储系统交互等模块 Spark Core中包含了对Spark核心API——RDD API(弹性分布式数据集)的定义：RDD表示分布在多个计算节点上可以并行操作的元素集合，是spark的核心抽象 Spark Core提供Spark最基础与最核心的功能，主要包括以下功能： (1)SparkContext： 通常而言，Driver Application的执行与输出都是通过SparkContext来完成的。在正式提交Application之前，首先需要初始化SparkContext。SparkContext隐藏了网络通信、分布式部署、消息通信、存储能力、计算能力、缓存、测量系统、文件服务、Web服务等内容，应用程序开发者只需要使用SparkContext提供的API完成功能开发。SparkContext内置的DAGScheduler负责创建Job，将DAG中的RDD划分到不同的Stage，提交Stage等功能。内置的TaskScheduler负责资源的申请，任务的提交及请求集群对任务的调度等工作。 (2)存储体系： Spark优先考虑使用各节点的内存作为存储，当内存不足时才会考虑使用磁盘，这极大地减少了磁盘IO，提升了任务执行的效率，使得Spark适用于实时计算、流式计算等场景

欢迎转载，转载请注明出处，徽沪一郎。 概要 图的并行化处理一直是一个非常热门的话题，这里头的重点有两个，一是如何将图的算法并行化，二是找到一个合适的并行化处理框架。Spark作为一个非常优秀的并行处理框架，将一些并行化的算法移到其上面就成了一个很自然的事情。 Graphx是一些图的常用算法在Spark上的并行化实现，同时提供了丰富的API接口。本文就Graphx的代码架构及pagerank在graphx中的具体实现做一个初步的学习。 Google为什么赢得了搜索引擎大战 当Google还在起步的时候，在搜索引擎领域，Yahoo正如日中天，红的发紫。显然，在Google面前的是一堵让人几乎没有任何希望的墙。 但世事难料，现在“外事问谷歌”成了不争的事实，Yahoo应也陪客了。 这种转换到底是如何形成的了，有一个因素是这样的，那就是Google发明了显著提高搜索准确率的PageRank算法。如果说PageRank算法的提出让谷歌牢牢站稳了搜索引擎大战的脚跟，这是毫不夸张的。 搜索引擎有几个要考虑的关键因素(个人观点而已)。 要想吸引用户，就必须要有出色的搜索准确率 有了用户，才能做广告投放，提高广告投放的针对性就可以盈利 上述两个方面都有非常优秀的算法。 废话少述，回到正题。PageRank算法是图论的一个具体应用，ok, 转到图论。 图论简介 图的组成

Spark GraphX是一个分布式的图处理框架。社交网络中，用户与用户之间会存在错综复杂的联系，如微信、QQ、微博的用户之间的好友、关注等关系，构成了一张巨大的图，单机无法处理，只能使用分布式图处理框架处理，Spark GraphX就是一种分布式图处理框架。 1. POM文件 在项目的pom文件中加上Spark GraphX的包： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-graphx_2.10</artifactId> <version>1.6.0</version> </dependency> 2. 设置运行环境 // 设置运行环境 val conf = new SparkConf().setAppName("Simple GraphX").setMaster("spark://master:7077").setJars(Seq("E:\\Intellij\\Projects\\SimpleGraphX\\SimpleGraphX.jar")) val sc = new SparkContext(conf) 3. 图的构造 图是由若干顶点和边构成的，Spark GraphX里面的图也是一样的，所以在初始图之前，先要定义若干的顶点和边： // 顶点 val vertexArray =

问题导读 1.GraphX提供了几种方式从RDD或者磁盘上的顶点和边集合构造图? 2.PageRank算法在图中发挥什么作用？ 3.三角形计数算法的作用是什么？ Spark中文手册-编程指南 Spark之一个快速的例子 Spark之基本概念 Spark之基本概念 Spark之基本概念（2） Spark之基本概念（3） Spark-sql由入门到精通 Spark-sql由入门到精通续 spark GraphX编程指南（1） Pregel API 图本身是递归数据结构，顶点的属性依赖于它们邻居的属性，这些邻居的属性又依赖于自己邻居的属性。所以许多重要的图算法都是迭代的重新计算每个顶点的属性，直到满足某个确定的条件。 一系列的graph-parallel抽象已经被提出来用来表达这些迭代算法。GraphX公开了一个类似Pregel的操作，它是广泛使用的Pregel和GraphLab抽象的一个融合。 在GraphX中，更高级的Pregel操作是一个约束到图拓扑的批量同步（bulk-synchronous）并行消息抽象。Pregel操作者执行一系列的超级步骤（super steps），在这些步骤中，顶点从 之前的超级步骤中接收进入(inbound)消息的总和，为顶点属性计算一个新的值，然后在以后的超级步骤中发送消息到邻居顶点。不像Pregel而更像GraphLab

GraphX编程指南 (根据原文编辑： http://udn.yyuap.com/doc/spark-programming-guide-zh-cn/graphx-programming-guide/index.html ) GraphX是一个新的（alpha）Spark API，它用于图和并行图(graph-parallel)的计算。GraphX通过引入Resilient Distributed Property Graph：带有 顶点和边属性的有向多重图，来扩展Spark RDD。为了支持图计算，GraphX公开一组基本的功能操作以及Pregel API的一个优化。另外，GraphX包含了一个日益增长的图算法和图builders的 集合，用以简化图分析任务。 从社交网络到语言建模，不断增长的规模和图形数据的重要性已经推动了许多新的graph-parallel系统（如Giraph和GraphLab）的发展。 通过限制可表达的计算类型和引入新的技术来划分和分配图，这些系统可以高效地执行复杂的图形算法，比一般的data-parallel系统快很多。 data parallel vs graph parallel 然而，通过这种限制可以提高性能，但是很难表示典型的图分析途径（构造图、修改它的结构或者表示跨多个图的计算）中很多重要的stages。另外，我们如何看待数据取决于我们的目标

Spark的生态圈 1.Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成一套完整的生态系统 2.Spark可以部署在资源管理器YARN之上，提供一站式大数据解决方案 3.Spark所提供的的生态系统可对应以下三种场景： 复杂的批量数据处理：通常时间跨度在数十分钟到数小时之间 基于历史数据的交互式查询：通常时间跨度在数十秒到数分钟之间 基于实时数据的数据处理：通常时间跨度在数百毫秒到数秒之间 4.Spark生态系统已经成为伯克利数据分析栈（BDAS）中重要的组成部分 5.Spark生态系统主要包括： Spark Core Spark SQL Spark Streaming MLlib GraphX Spark Core提供Spark最基础与最重要的功能，主要包括： SparkContext：通常而言，Driver Application的执行与输出都是通过SparkContext来完成的，在正式提交Application之前，首先需要初始化SparkContext 只需要使用SparkContext提供的 API完成 功能开发 Spark Core中包含了对RDD的API定义 Spark Core提供了创建和操作这些集合的多个API Spark SQL是Spark用来操作结构化数据的程序包 Spark Streaming 支持多种数据源 提供窗口操作

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> GraphX Pregel API Graph data and graph processing is getting more and more attention lately in various fields. It has become apparent that a large number of real world problems can be described in terms of graphs, for instance, the Web graph, the social network graph, the train network graph and the language graph. Often these graphs are exceptionally huge, take the Web graph for example, it is estimated that the number of web pages may have exceeded 30 billion. We are in need of a system that is able to process these graphs created by modern applications.

查找需要的 jar 包 安装地址： https://mvnrepository.com/artifact/org.apache.spark/spark-graphx_2.11/2.4.0 其中，2.11 是 scala 的版本，2.4.0 是 spark 的版本。 在 eclipse 中导入 jar 包 可能出现的问题 一开始下载的版本是 spark-graphx_2.12/2.4.0，而已经安装好的环境是 scala2.11 和 spark2.4.0，与已有的 spark 环境不匹配，报错信息如下： Exception in thread “main” java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V 重新找到合适的 jar 包，下载后再导入到项目中： 来源： CSDN 作者： betterMia 链接： https://blog.csdn.net/qq_27466159/article/details/103827066