neo4j与spark 的结合

spark 是用来做图计算的，Graphx,其实 spark 和Neo4j 有交叉点，在图论算法上都可以用上
使用 neo4j 和 spark 结合
1.首先如果你的neo4j 是需要账号密码登录的话，你就应该在项目中配置一下，两三种方式

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{SQLContext, SparkSession}
import org.apache.spark.sql.types.{StringType, StructField, StructType}
import org.apache.spark.{SparkConf, SparkContext}
import org.neo4j.spark.Neo4j
import org.neo4j.spark._
import collection.JavaConversions._
 val spark=SparkSession.builder().appName("play")
.master("local[*]")
.config("spark.neo4j.bolt.url", "bolt://localhost:7687")
                        .config("spark.neo4j.bolt.user", "neo4j")
                        .config("spark.neo4j.bolt.password", "hortmt")
                .getOrCreate()
 import spark.implicits._
 val neo=Neo4j(spark.sparkContext)

//这个是使用sparkSession配置

下一个是使用 sparkConf配置

val conf = new SparkConf().setAppName("neoej")
                .setMaster("local[*]")
                .set("spark.neo4j.bolt.url", "bolt://localhost:7687")
                .set("spark.neo4j.bolt.user", "neo4j")
                .set("spark.neo4j.bolt.password", "hortmt")
        val sc =new SparkContext(conf)

        val neo=Neo4j(sc)

3 另外还有一种是通过 Neo4jConfig 来做配置

val sparkSession = SparkSession.builder()
              .master("local[*]")
                .appName("LoadDataToNeo4j")
                    .getOrCreate();

  val sc = sparkSession.sparkContext

  val config = Neo4jConfig("localhost:","neo4j",Option("root"))
  Neo4j(sc).cypher("CREATE (c:Client {id:1230}) return c").loadRdd
  sparkSession.close()

我们最常见的就是把 neo4j 的node 转化为 spark 里的rdd 或者 dataframe 或者 graph ，其中 rdd 又分为四种，普通rdd ，noderdd ，rowrdd，relrdd
在整这个的时候首先遇到两个障碍，第一是转化，第二是把图的属性提取出来变成一个case class

来源：CSDN

作者：加码帝国

链接：https://blog.csdn.net/for_yayun/article/details/104721109

标签

neo4j

spark