Elasticsearch(一)

烈酒焚心 提交于 2020-01-24 05:15:04

一、 简介

  Elasticsearch是一个基于Apache Lucene™的开源引擎。无论在开源还是专用领域,Lucene可以被认为是迄今为止最先进、性能最好、功能最全的搜索引擎库。

  但是,Lucene只是一个库。想要使用它,你必须使用Java来作为开发语言并直接集成到你的应用中,更糟糕的是,Lucene非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。

  Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索功能,但是它的目的是通过简单RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单

Elasticsearch的中文网址:https://www.elastic.co/cn/products/elasticsearch

1.1 正向索引与倒排索引

  正向索引与倒排索引,这是在搜索领域中非常重要的两个名词,正向索引通常用于数据库中,倒排索引最多用于搜索引擎领域,我们根据如下两个网页对这两个概念进行阐述:

html1

我爱我的祖国,我爱编程

html2

我爱编程,我是个快乐的小码农

正向索引: 假设我们使用MySQL的全文检索,会对如上两句话进行分词处理,那么预计得到的结果如下:

我 爱 爱我 祖国 我的祖国 编程 爱编程 我爱编程
我 我爱 爱 编程 爱编程 我爱编程 快乐 码农 小码农

  假设我们使用正向索引上搜索编程这个词,那么它会一句一句第去查找是否包含编程这个关键词,如果有就加入到结果集中。假设现在有成千上百个网页,每个网页都有非常多的分词,那么搜索效率将会非常非常低。

倒排索引: 倒排索引是按照分词与文档进行映射

关键词 文档名
html1,html2
html1,html2
爱我 html1
我爱 html2
祖国 html1
我的祖国 html1
编程 html1,html2
我爱编程 html1,html2
爱编程 html1,html2
快乐 html2
码农 html2
小码农 html2

  如果采用倒排索引的方式搜索编程这个词,那么会直接到关键词中查找到编程,然后查找到对应的文档,这就是所谓的倒排索引。

1.2 Elasticsearch基本概念
  • 索引
  Elasticsearch中的索引有多层的意思:
    1. Elasticsearch中的索引的概念与数据库中索引的概念是完全不一样的,
       Elasticsearch中索引如果类比到数据库,那就是一个数据库名。
    2. 它还描述了一个动作,就是将某个文档保存在elasticsearch的过程也叫索引
  • 文档
      文档在Elasticsearch中就是具体的数据,类比到数据库中那就是一条记录。

在7.0之前,一个Index可以创建多个类型,从7.0开始,一个索引只能创建一个类型,也就是_doc

DBMS Elasticsearch
Table Index(Type)
Row Document
Column Field
Schema Mapping
SQL DSL(Descriptor Structure Language)

二、 RestAPI

2.1 基本CURD
  1. 添加数据,没有指定ID,系统会生成ID
POST user/_doc
{
  "age": 10,
  "firstName": "Will",
  "lastName": "Smith"
}
  1. 操作数据,指定ID,如果没有对应ID,就添加数据;如果有则修改数据
POST user/_doc/1
{
  "age": 20,
  "firstName": "Will",
  "lastName": "Smith"
}
  1. 通过_create的方式添加数据,如果存在ID,就会报错
POST user/_create/2
{
  "age": 40,
  "firstName": "Douge",
  "lastName": "Lee"
}
  1. 查询指定ID的文档
GET user/_doc/1
  1. 删除指定ID的文档
DELETE user/_doc/1
  1. 指定ID,创建或者覆盖
PUT user/_doc/1
{
  "age": 40,
  "firstName": "Hello",
  "lastName": "Lee"
}
  1. 修改原有数据结构
POST user/_update/1
{
  "doc": {
    "firstName":"Rodan",
    "lastName": "Johson"
  }
}
  1. 批量查询
GET _mget
{
    "docs": [
        {"_index": "movies" , "_id":1},
        {"_index": "movies" , "_id":2}
    ]
}
  1. 分页查询
GET movies/_search
{
  "from": 0,
  "size": 20
}
  1. 批量插入(可以指定ID,也可以不指定ID)
POST user/_bulk
{"index":{"_id": 23}}
{"firstName":"Will", "lastName":"Smith", "mobile": "123455"}
{"index":{}}
{"firstName":"Lily", "lastName":"Bob", "mobile": "98765"}
2.2 URI查询
  1. 泛查询,就是不指定字段,全字段查找,如下查找所有字段中包含有2012的电影
GET movies/_search?q=2012
  1. 查询title中包含有2012的所有的电影(df是default field)
GET movies/_search?q=2012&df=title
或者
GET movies/_search?q=title:2012
  1. 查询title中包含有2012,取索引从10开始,共8条数据
GET movies/_search?q=title:2012&from=10&size=8
  1. 字符串判断查询
# 查询titile中包含有Beautiful, Mind为泛查询
GET movies/_search?q=title:Beautiful Mind

#查询title中包含有Beautiful, 并且年份大于2012
GET movies/_search?q=title:Beautiful AND year:>=2012

#查询titile中包含有Beautiful或者Mind
GET movies/_search?q=title:(Beautiful Mind)
GET movies/_search?q=title:(+Mind +Beautiful)

#查询title中包含有“Beautiful Mind”的所有的电影
GET movies/_search?q=title:"Beautiful Mind"


#查询title中既包含有Mind又包含有Beautiful的所有的电影,对先后顺序没有要求
GET movies/_search?q=title:(Mind AND Beautiful)
GET movies/_search?q=title:(+Mind AND +Beautiful)

#查询title中包含Mind但是不包含Beautiful的所有的电影
GET movies/_search?q=title:(Mind NOT Beautiful)
GET movies/_search?q=title:(Mind -Beautiful)
  1. 年份判断查询
#查询2018年以后上映的电影
GET movies/_search?q=year:>=2018

#查询2012年到2017年上映的电影
GET movies/_search?q=year:(>=2012 AND <2018)

#查询2016年到2017年所有的电影,注意:必须以 ] 结尾
GET movies/_search?q=year:{2015 TO 2017]
  1. 正则判断查询
#查询title中以Mi开头,中间包含一个字符,以d结尾的所有的电影
GET movies/_search?q=title:Mi?d

#查询title中以Min开头,后面为任何内容的电影
GET movies/_search?q=title:Min*

2.3 Request Body查询

在有些查询中,可能会用到各种特别复杂的查询,那么就需要使用Request Body查询。

  1. 以year的倒序排序,查询电影年份在 [2017, 2018]的数据, query只能单条件查询
GET movies/_search
{
  "sort": [
    {
      "year": {
        "order": "desc"
      }
    }
  ],
  # query中只能有一个条件
  "query": {
    "range": {
      "year": {
        "gte": 2017,
        "lte": 2018
      }
    }
  }
}
  1. 以year的倒序排序,查询titile中包含有Beautiful或者Mind的数据, query只能单条件查询
GET movies/_search
{
  "sort": [
    {
      "year": {
        "order": "desc"
      }
    }
  ],
  # query中只能有一个条件
  "query": {
    "match": {
      "title": "Beautiful Mind"
    }
  }
}
  1. 短语匹配,查询title中包含有 “Beautiful Mind” 这个短语的的电影
GET movies/_search
{
  "query": {
    "match_phrase": {
      "title": "Beautiful Mind"
    }
  }
}
  1. 按照年份的倒序,分页查询
GET movies/_search
{
  "sort": [
    {
      "year": {
        "order": "desc"
      }
    }
  ],
  "from": 0,
  "size": 20
}
  1. 只查询部分列
GET movies/_search
{
  "_source": ["title", "year"]
}
  1. 多个条件查询,多条件查询必须使用bool
GET movies/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "year": {
              "gte": 2017,
              "lte": 2018
            }
          }
        },
        {
          "match": {
            "title": "Beautiful Mind"
          }
        }
      ]
    }
  }
}
  1. 多字段同时匹配某些字符串
GET movies/_search
{
  "query": {
    "multi_match": {
      "query": "beautiful mind Romance",
      "fields": ["title", "genre"],
      "type": "best_fields"
    }
  }
}

其中type的值有三个:

- most_fields:在多字段中匹配的越多排名越靠前(数量)
- best_fields: 能完全匹配的文档,排名越靠前。(词项)
- cross_fields: 查询越分散,排名越靠前。(分散在不同字段之间)
  1. query_string 的用法
GET movies/_search
{
  "query": {
    "query_string": {
      "default_field": "title",
      "query": "Beautiful Mind",
      "default_operator": "AND"   #不加默认是OR
    }
  }
}


GET movies/_search
{
  "query": {
    "query_string": {
      "fields": ["title", "genre"],
      "query": "Beautiful Mind",
      "default_operator": "AND"
    }
  }
}
  1. term实现精准匹配,查询title为Beautiful Mind 的电影
GET movies/_search
{
  "query": {
    "term": {
      "title": {
        "value": "Beautiful Mind"
      }
    }
  }
}
  1. 多条件或判断
GET movies/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "title": "Beautiful Mind"
          }
        },
        {
          "range": {
            "year": {
              "gte": 2017,
              "lte": 2018
            }
          }
        }
      ]
    }
  }
}
  1. 推荐搜索

所谓的推荐搜索就是当我们根据条件搜索的时候,因为单词的拼写错误,但是无法搜索出结果,那么Elasticsearch会给出一定的搜索建议,通过 sugguest 来实现。

GET movies/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "title": "beautifu Minx"
          }
        },
        {
          "match": {
            "genre": "drama"
          }
        }
      ]
    }
  },
  "suggest": {
    "title-suggest": {
      "text": "beautifu Minx",
      "term": {
        "field": "title",
        "suggest_mode": "missing"
      }
    },
    "genre-suggest": {
       "text": "drama",
      "term": {
        "field": "genre",
        "suggest_mode": "missing"
      }
    }
  }
}

我们说一下suggest_mode 的三种模式:missing 、popular、always

  • missing:  意思是当词典中没有找到对应的索引信息,才去推荐。

  • popular: 意思是即使我们去搜索一个被索引了的单词,但是还是会去给我们推荐类似的但是出现频率很高的词。

  • always:  无论在任何情况下,都给出推荐。

注意: 这三种模式只能在term下使用

2.4 自动补全功能

Elasticsearch的自动补全功能是基于 suggest 来实现的,但是需要提前定义好需要进行搜索字段的mapping信息(mapping一旦创建好后是不能修改的)。

  1. 定义mapping并执行,需要自动补全的属性的 type 必须是 completion
{"mappings" : {
   "properties" : {
      "@version" : {
        "type" : "text",
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 256
          }
        }
      },
      "genre" : {
        "type" : "completion",  
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 256
          }
        }
      },
      "id" : {
        "type" : "text",
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 256
          }
        }
     },
     "title" : {
        "type" : "completion",
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 256
          }
        }
      },
      "year" : {
        "type" : "long"
      }
    }
  }
}

执行如下命令,重新定义mapping

put movies
{
    # 这里是重新定义的mapping
}
  1. 执行推荐
GET movies/_search
{
  "suggest": {
    "title-suggest": {
      "prefix": "bokx",
      "completion": {
        "field": "title"
      }
    }
  }
}

不足:completion这个推荐的方式只能是前缀查询,但是其查找速度极快。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!