ES
什么是ES文档操作:
1.ES是面向文档(document oriented)的,这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储,还会索引(index)每个文档的内容使之可以被搜索。在ES中,你可以对文档(而非成行成列的数据)进行索引、搜索、排序、过滤。
2.ES文档元素:
1._index:索引库,类似于关系型数据库里的“数据库”—它是我们存储和索引关联数据的地方。
2._type:在应用中,我们使用对象表示一些“事物”。
3.id:与 _index 和 _type 组合时,就可以在ELasticsearch中唯一标识一个文档。
4._source:文档原始数据。
5._all:所有字段的连接字符串
文档的增删改操作(resfoull风格):
1.PUT {index}/{type}/{id}
2.POST {index}/{type}
3.GET itsource/employee/1?employee
DSL查询过滤:
什么是查询过滤:只查出你想要的信息 屏蔽多余的信息
DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现
GET _search
DSL过滤和DSL查询在性能上的区别 :
过滤结果可以缓存并应用到后续请求。
查询语句同时匹配文档,计算相关性,所以更耗时,且不缓存。
过滤语句可有效地配合查询语句完成文档过滤。
分词与映射:
为什么要分词与映射:
在全文检索理论中,文档的查询是通过关键字查询文档索引来进行匹配,因此将文本拆分为有意义的单词,对于搜索结果的准确性至关重要,因此,在建立索引的过程中和分析搜索语句的过程中都需要对文本串分词。
ES中分词需要对具体字段指定分词器等细节,因此需要在文档的映射中明确指出。
IK分词器:源码下载地址
https://github.com/medcl/elasticsearch-analysis-ik
集群操作:
为什么要使用集群:
处理高并发数据 单点故障和大量的数据的时候就要需要用到集群
Node有三种节点:
master Node:主节点,维护集群信息 索引库操作
data node:数据节点, 文档crud
client node:只负责处理用户请求
1、默认情况下,每个节点都有成为主节点的资格,也会存储数据,还会处理客户端的请求。- 在生产环境下,如果不修改ElasticSearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题
2、在一个生产集群中我们可以对这些节点的职责进行划分。建议集群中设置3台以上的节点作为master节点【node.master: true node.data: false】,这些节点只负责成为主节点,维护整个集群的状态。
3、再根据数据量设置一批data节点【node.master: false node.data: true】,这些节点只负责存储数据,后期提供建立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的压力也会比较大。
4、在集群中建议再设置一批client节点【node.master: false node.data: true】,这些节点只负责处理用户请求,实现请求转发,负载均衡等功能。
JavaAPI操作集群:
什么是JavaAPI:ES对Java提供一套操作索引库的工具包,即Java API。所有的ES操作都使用Client对象执行。
第一:引入包
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>transport</artifactId>
<version>5.2.2</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-api</artifactId>
<version>2.7</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.7</version>
</dependency>
第二:连接ES获取client对象
Settings settings = Settings.builder()
.put("client.transport.sniff", true).build();
TransportClient client = new PreBuiltTransportClient(settings);
第三 创建文档索引:
import static org.elasticsearch.common.xcontent.XContentFactory.*;
IndexResponse response = client.prepareIndex("crm", "vip", "1")
.setSource(jsonDataText).get();
第四 获取文档:
GetResponse response = client.prepareGet("crm", "vip", "1").get();
下面就是增删改的代码:
改:
client.prepareUpdate("crm", "vip", "1").setDoc("{\"sex\":0}").get();
或client.prepareUpdate("crm", "vip", "1")
.setScript(new Script("ctx._source.sex = 1" , ScriptService.ScriptType.INLINE,null, null))
.get();
IndexRequest indexRequest = new IndexRequest("crm", "vip", "1")
.source(originalJsonData);
UpdateRequest updateRequest = new UpdateRequest("crm", "vip", "1")
.doc(updateJsonData).upsert(indexRequest);
client.update(updateRequest).get();
删:
DeleteResponse response = client.prepareDelete("crm", "vip", "1").get();
批量添加:
BulkRequestBuilder bulkRequest = client.prepareBulk();
bulkRequest.add(client.prepareIndex("crm", "vip", "1")
.setSource(vip1JsonData));
bulkRequest.add(client.prepareIndex("crm", "vip", "2")
.setSource(vip2JsonData));
BulkResponse bulkResponse = bulkRequest.get();