FEA

ElasticSearch（简称ES）是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RestFul web接口。ElasticSearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便的目地，当前在各大公司使用非常普遍。而Spark是基于分布式内存的高性能计算框架，用来处理大量的数据。本篇文章，我将与大家探讨如何用Spark从ES中加载数据，并将数据保存到ES里面。 1. FEA-spk集成ElasticSearch FEA-spk技术，它的底层基于最流行的大数据开发框架Spark，对各种算子的操作都是基于DataFrame的。使用FEA-spk来做交互分析，不但非常简单易懂，而且几乎和Spark的功能一样强大，更重要的一点是，它可以实现可视化，处理的数据规模更大，可以进行分布式的机器学习等。 Spark2.x与ElasticSearch的完美结合，大大丰富了FEA-spk的业务处理能力。 2. FEA处理ElasticSearch的原语实现 （1） 创建spk的连接 （2） 创建ElasticSearch的连接 （3） 加载数据到ES中 数据的格式如下表所示 可以看到数据有一亿多条，73个字段，数据量还是比较大的。 （4

一、Spark集成ElasticSearch的设计动机 ElasticSearch 毫秒级的查询响应时间还是很惊艳的。其优点有： 1. 优秀的全文检索能力 2. 高效的列式存储与查询能力 3. 数据分布式存储(Shard 分片) 相应的也存在一些缺点： 1. 缺乏优秀的SQL支持 2. 缺乏水平扩展的Reduce(Merge)能力，现阶段的实现局限在单机 3. JSON格式的查询语言，缺乏编程能力，难以实现非常复杂的数据加工，自定义函数(类似Hive的UDF等) Spark 作为一个计算引擎，可以克服ES存在的这些缺点： 1. 良好的SQL支持 2. 强大的计算引擎，可以进行分布式Reduce 3. 支持自定义编程(采用原生API或者编写UDF等函数对SQL做增强) 所以在构建即席多维查询系统时，Spark 可以和ES取得良好的互补效果 二、Spark与ElasticSearch结合的架构和原理 ES-Hadoop无缝打通了ES和Hadoop两个非常优秀的框架，我们既可以把HDFS的数据导入到ES里面做分析，也可以将es数据导出到HDFS上做备份，归档，其中值得一提的是ES-Hadoop全面的支持了Spark框架，其中包括Spark，Spark Streaming，Spark SQL，此外也支持Hive，Pig，Storm，Cascading，当然还有标准的MapReduce