一、 简介
Elasticsearch是一个基于Apache Lucene™的开源引擎。无论在开源还是专用领域,Lucene可以被认为是迄今为止最先进、性能最好、功能最全的搜索引擎库。
但是,Lucene只是一个库。想要使用它,你必须使用Java来作为开发语言并直接集成到你的应用中,更糟糕的是,Lucene非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。
Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索功能,但是它的目的是通过简单RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单
Elasticsearch的中文网址:https://www.elastic.co/cn/products/elasticsearch
1.1 正向索引与倒排索引
正向索引与倒排索引,这是在搜索领域中非常重要的两个名词,正向索引通常用于数据库中,倒排索引最多用于搜索引擎领域,我们根据如下两个网页对这两个概念进行阐述:
html1
我爱我的祖国,我爱编程
html2
我爱编程,我是个快乐的小码农
正向索引: 假设我们使用MySQL的全文检索,会对如上两句话进行分词处理,那么预计得到的结果如下:
我 爱 爱我 祖国 我的祖国 编程 爱编程 我爱编程
我 我爱 爱 编程 爱编程 我爱编程 快乐 码农 小码农
假设我们使用正向索引上搜索编程这个词,那么它会一句一句第去查找是否包含编程这个关键词,如果有就加入到结果集中。假设现在有成千上百个网页,每个网页都有非常多的分词,那么搜索效率将会非常非常低。
倒排索引: 倒排索引是按照分词与文档进行映射
关键词 | 文档名 |
---|---|
我 | html1,html2 |
爱 | html1,html2 |
爱我 | html1 |
我爱 | html2 |
祖国 | html1 |
我的祖国 | html1 |
编程 | html1,html2 |
我爱编程 | html1,html2 |
爱编程 | html1,html2 |
快乐 | html2 |
码农 | html2 |
小码农 | html2 |
如果采用倒排索引的方式搜索编程这个词,那么会直接到关键词中查找到编程,然后查找到对应的文档,这就是所谓的倒排索引。
1.2 Elasticsearch基本概念
- 索引
Elasticsearch中的索引有多层的意思:
1. Elasticsearch中的索引的概念与数据库中索引的概念是完全不一样的,
Elasticsearch中索引如果类比到数据库,那就是一个数据库名。
2. 它还描述了一个动作,就是将某个文档保存在elasticsearch的过程也叫索引
- 文档
文档在Elasticsearch中就是具体的数据,类比到数据库中那就是一条记录。
在7.0之前,一个Index可以创建多个类型,从7.0开始,一个索引只能创建一个类型,也就是_doc
DBMS | Elasticsearch |
---|---|
Table | Index(Type) |
Row | Document |
Column | Field |
Schema | Mapping |
SQL | DSL(Descriptor Structure Language) |
二、 RestAPI
2.1 基本CURD
- 添加数据,没有指定ID,系统会生成ID
POST user/_doc
{
"age": 10,
"firstName": "Will",
"lastName": "Smith"
}
- 操作数据,指定ID,如果没有对应ID,就添加数据;如果有则修改数据
POST user/_doc/1
{
"age": 20,
"firstName": "Will",
"lastName": "Smith"
}
- 通过_create的方式添加数据,如果存在ID,就会报错
POST user/_create/2
{
"age": 40,
"firstName": "Douge",
"lastName": "Lee"
}
- 查询指定ID的文档
GET user/_doc/1
- 删除指定ID的文档
DELETE user/_doc/1
- 指定ID,创建或者覆盖
PUT user/_doc/1
{
"age": 40,
"firstName": "Hello",
"lastName": "Lee"
}
- 修改原有数据结构
POST user/_update/1
{
"doc": {
"firstName":"Rodan",
"lastName": "Johson"
}
}
- 批量查询
GET _mget
{
"docs": [
{"_index": "movies" , "_id":1},
{"_index": "movies" , "_id":2}
]
}
- 分页查询
GET movies/_search
{
"from": 0,
"size": 20
}
- 批量插入(可以指定ID,也可以不指定ID)
POST user/_bulk
{"index":{"_id": 23}}
{"firstName":"Will", "lastName":"Smith", "mobile": "123455"}
{"index":{}}
{"firstName":"Lily", "lastName":"Bob", "mobile": "98765"}
2.2 URI查询
- 泛查询,就是不指定字段,全字段查找,如下查找所有字段中包含有2012的电影
GET movies/_search?q=2012
- 查询title中包含有2012的所有的电影(df是default field)
GET movies/_search?q=2012&df=title
或者
GET movies/_search?q=title:2012
- 查询title中包含有2012,取索引从10开始,共8条数据
GET movies/_search?q=title:2012&from=10&size=8
- 字符串判断查询
# 查询titile中包含有Beautiful, Mind为泛查询
GET movies/_search?q=title:Beautiful Mind
#查询title中包含有Beautiful, 并且年份大于2012
GET movies/_search?q=title:Beautiful AND year:>=2012
#查询titile中包含有Beautiful或者Mind
GET movies/_search?q=title:(Beautiful Mind)
GET movies/_search?q=title:(+Mind +Beautiful)
#查询title中包含有“Beautiful Mind”的所有的电影
GET movies/_search?q=title:"Beautiful Mind"
#查询title中既包含有Mind又包含有Beautiful的所有的电影,对先后顺序没有要求
GET movies/_search?q=title:(Mind AND Beautiful)
GET movies/_search?q=title:(+Mind AND +Beautiful)
#查询title中包含Mind但是不包含Beautiful的所有的电影
GET movies/_search?q=title:(Mind NOT Beautiful)
GET movies/_search?q=title:(Mind -Beautiful)
- 年份判断查询
#查询2018年以后上映的电影
GET movies/_search?q=year:>=2018
#查询2012年到2017年上映的电影
GET movies/_search?q=year:(>=2012 AND <2018)
#查询2016年到2017年所有的电影,注意:必须以 ] 结尾
GET movies/_search?q=year:{2015 TO 2017]
- 正则判断查询
#查询title中以Mi开头,中间包含一个字符,以d结尾的所有的电影
GET movies/_search?q=title:Mi?d
#查询title中以Min开头,后面为任何内容的电影
GET movies/_search?q=title:Min*
2.3 Request Body查询
在有些查询中,可能会用到各种特别复杂的查询,那么就需要使用Request Body查询。
- 以year的倒序排序,查询电影年份在 [2017, 2018]的数据, query只能单条件查询
GET movies/_search
{
"sort": [
{
"year": {
"order": "desc"
}
}
],
# query中只能有一个条件
"query": {
"range": {
"year": {
"gte": 2017,
"lte": 2018
}
}
}
}
- 以year的倒序排序,查询titile中包含有Beautiful或者Mind的数据, query只能单条件查询
GET movies/_search
{
"sort": [
{
"year": {
"order": "desc"
}
}
],
# query中只能有一个条件
"query": {
"match": {
"title": "Beautiful Mind"
}
}
}
- 短语匹配,查询title中包含有 “Beautiful Mind” 这个短语的的电影
GET movies/_search
{
"query": {
"match_phrase": {
"title": "Beautiful Mind"
}
}
}
- 按照年份的倒序,分页查询
GET movies/_search
{
"sort": [
{
"year": {
"order": "desc"
}
}
],
"from": 0,
"size": 20
}
- 只查询部分列
GET movies/_search
{
"_source": ["title", "year"]
}
- 多个条件查询,多条件查询必须使用bool
GET movies/_search
{
"query": {
"bool": {
"must": [
{
"range": {
"year": {
"gte": 2017,
"lte": 2018
}
}
},
{
"match": {
"title": "Beautiful Mind"
}
}
]
}
}
}
- 多字段同时匹配某些字符串
GET movies/_search
{
"query": {
"multi_match": {
"query": "beautiful mind Romance",
"fields": ["title", "genre"],
"type": "best_fields"
}
}
}
其中type的值有三个:
- most_fields:在多字段中匹配的越多排名越靠前(数量)
- best_fields: 能完全匹配的文档,排名越靠前。(词项)
- cross_fields: 查询越分散,排名越靠前。(分散在不同字段之间)
- query_string 的用法
GET movies/_search
{
"query": {
"query_string": {
"default_field": "title",
"query": "Beautiful Mind",
"default_operator": "AND" #不加默认是OR
}
}
}
GET movies/_search
{
"query": {
"query_string": {
"fields": ["title", "genre"],
"query": "Beautiful Mind",
"default_operator": "AND"
}
}
}
- term实现精准匹配,查询title为Beautiful Mind 的电影
GET movies/_search
{
"query": {
"term": {
"title": {
"value": "Beautiful Mind"
}
}
}
}
- 多条件或判断
GET movies/_search
{
"query": {
"bool": {
"should": [
{
"match": {
"title": "Beautiful Mind"
}
},
{
"range": {
"year": {
"gte": 2017,
"lte": 2018
}
}
}
]
}
}
}
- 推荐搜索
所谓的推荐搜索就是当我们根据条件搜索的时候,因为单词的拼写错误,但是无法搜索出结果,那么Elasticsearch会给出一定的搜索建议,通过 sugguest 来实现。
GET movies/_search
{
"query": {
"bool": {
"should": [
{
"match": {
"title": "beautifu Minx"
}
},
{
"match": {
"genre": "drama"
}
}
]
}
},
"suggest": {
"title-suggest": {
"text": "beautifu Minx",
"term": {
"field": "title",
"suggest_mode": "missing"
}
},
"genre-suggest": {
"text": "drama",
"term": {
"field": "genre",
"suggest_mode": "missing"
}
}
}
}
我们说一下suggest_mode 的三种模式:missing 、popular、always
-
missing: 意思是当词典中没有找到对应的索引信息,才去推荐。
-
popular: 意思是即使我们去搜索一个被索引了的单词,但是还是会去给我们推荐类似的但是出现频率很高的词。
-
always: 无论在任何情况下,都给出推荐。
注意: 这三种模式只能在term下使用
2.4 自动补全功能
Elasticsearch的自动补全功能是基于 suggest 来实现的,但是需要提前定义好需要进行搜索字段的mapping信息(mapping一旦创建好后是不能修改的)。
- 定义mapping并执行,需要自动补全的属性的 type 必须是 completion
{"mappings" : {
"properties" : {
"@version" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"genre" : {
"type" : "completion",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"id" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"title" : {
"type" : "completion",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"year" : {
"type" : "long"
}
}
}
}
执行如下命令,重新定义mapping
put movies
{
# 这里是重新定义的mapping
}
- 执行推荐
GET movies/_search
{
"suggest": {
"title-suggest": {
"prefix": "bokx",
"completion": {
"field": "title"
}
}
}
}
不足:completion这个推荐的方式只能是前缀查询,但是其查找速度极快。
来源:CSDN
作者:Aeroball
链接:https://blog.csdn.net/weixin_46034226/article/details/103770095