1、ElasticSearch介绍
ElasticSearch 是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch 是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
我们建立一个网站或应用程序,并要添加搜索功能,但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快,我们希望能有一个零配置和一个完全免费的搜索模式,我们希望能够简单地使用JSON通过HTTP来索引数据,我们希望我们的搜索服务器始终可用,我们希望能够从一台开始并扩展到数百台,我们要实时搜索,我们要简单的多租户,我们希望建立一个云的解决方案。因此我们利用Elasticsearch 来解决所有这些问题以及可能出现的更多其它问题。
2、ElasticSearch优点
便于安装支持多平台:Linux,Windows等
便于开发支持多语言:Java,Python,PHP等
查询速度快,使用于大量数据查询
支持分词系统和聚合分析等多种功能
3、window和Linux
提示:以elasticsearch-2.3.3为例,无论是Windows还是Linux在配置elasticsearch.yml文件时对其中的配置项保持严格的缩进,否则启动可能报错
并且当前安装elasticsearch版本较低,后续版本可能与此不同但是万变不离其宗。
3.1、Windows搭建ElasticSearch
(1)将下载好的elasticsearch-2.3.3.zip包解压
(2)进入elasticsearch-2.3.3目录下的conf下
(3)修改elasticsearch.yml(详细介绍见文章结尾)配置文件中的network.host选项为自己本地的ip地址
(4)在此返回到elasticsearch-2.3.3目录下并进入到bin目录下双击启动elasticsearch.bat该文件即可
3.2、Linux搭建elasticsearch
(1)将下载好的elasticsearch-2.3.3.zip包解压
(2)进入elasticsearch-2.3.3目录下的conf下
(3)修改elasticsearch.yml(详细介绍见文章结尾)配置文件
cluster.name:英文集群名称
node.name: 英文节点名称
path.data: 数据存放位置
path.logs:日志存放位置
network.host:主节点ip地址
transport.tcp.port: tcp端口一般使用9300
http.port: web访问端口一般使用9200
(4)在此返回到elasticsearch-2.3.3目录下并进入到bin目录下执行./elasticsearch即可,后台执行需在后面加上-d
4、安装head,kopf,elasticsearch-sql可视化插件等
4.1、查看elasticsearch-2.3.3目录下是否含有plugins改目录,如果没有则需要手动创建
4.2、将head.zip解压至plugins目录下按照以上步骤重新启动即可
访问地址:http://ip:9200/_plugin/head/
同理kopf和elasticsearch-sql安装
特殊说明:只有elasticsearch-sql插件只能查询并且可以将sql转为elasticsearch聚合语句;而kopf和head既可以做查询又可以做增、删、改
head插件展示效果图
kopf插件展示效果图
elasticsearch-sql插件展示效果图
5、关于elasticsearch.yml配置详解
(1)集群名称,默认为elasticsearch
cluster.name:elasticsearch
(2)节点名称,es启动时会自动创建节点名称,但你也可进行配置
node.name: "node1"
(3)是否作为主节点,每个节点都可以被配置成为主节点,默认值为true
node.master: true
(4)是否存储数据,即存储索引片段,默认值为true
node.data: true
{master和data同时配置会产生一些奇异的效果:
1) 当master为false,而data为true时,会对该节点产生严重负荷;
2) 当master为true,而data为false时,该节点作为一个协调者;
3) 当master为false,data也为false时,该节点就变成了一个负载均衡器。}
(5)每个节点都可以定义一些与之关联的通用属性,用于后期集群进行碎片分配时的过滤
node.rack: rack1
(6)默认情况下,多个节点可以在同一个安装路径启动,如果你想让你的es只启动一个节点,可以进行如下设置
node.max_local_storage_nodes: 1
(7)设置一个索引的碎片数量,默认值为5
index.number_of_shards: 5
(8)设置一个索引可被复制的数量,默认值为1
index.number_of_replicas: 1
(9)配置文件所在的位置,即elasticsearch.yml和logging.yml所在的位置
path.conf: /path/to/conf
(10) 分配给当前节点的索引数据所在的位置:
path.data: /path/to/data
(11) 临时文件位置:
path.work: /path/to/work
(12)日志文件所在位置:
path.logs: /path/to/logs
(13) 插件安装位置:
path.plugins: /path/to/plugins
(14) 插件托管位置,若列表中的某一个插件未安装,则节点无法启动:
plugin.mandatory: mapper-attachments,lang-groovy
(15) JVM开始交换时,ElasticSearch表现并不好:你需要保障JVM不进行交换,可以将bootstrap.mlockall设置为true禁止交换:
bootstrap.mlockall: true
请确保ES_MIN_MEM和ES_MAX_MEM的值是一样的,并且能够为ElasticSearch分配足够的内在,并为系统操作保留足够的内存。
(16)默认情况下,ElasticSearch使用0.0.0.0地址,并为http传输开启9200-9300端口,为节点到节点的通信开启9300-9400端口,也可以自行设置IP地址:
network.bind_host: 192.168.0.1
(17)publish_host设置其他节点连接此节点的地址,如果不设置的话,则自动获取,publish_host的地址必须为真实地址:
network.publish_host: 192.168.0.1
(18)bind_host和publish_host可以一起设置:
network.host: 192.168.0.1
(19)可以定制该节点与其他节点交互的端口:
transport.tcp.port: 9300
(20)节点间交互时,可以设置是否压缩,转为为不压缩:
transport.tcp.compress: true
(21)可以为Http传输监听定制端口:
http.port: 9200
(22)设置内容的最大长度:
http.max_content_length: 100mb
(23)禁止HTTP
http.enabled: false
(24)网关允许在所有集群重启后持有集群状态,集群状态的变更都会被保存下来,当第一次启用集群时,可以从网关中读取到状态,默认网关类型(也是推荐的)是local:
gateway.type: local
(25)允许在N个节点启动后恢复过程:
gateway.recover_after_nodes: 1
(26)设置初始化恢复过程的超时时间:
gateway.recover_after_time: 5m
(27)设置该集群中可存在的节点上限:
gateway.expected_nodes: 2
(28)设置一个节点的并发数量,有两种情况,一种是在初始复苏过程中:
cluster.routing.allocation.node_initial_primaries_recoveries: 4
另一种是在添加、删除节点及调整时:
cluster.routing.allocation.node_concurrent_recoveries: 2
(29)设置复苏时的吞吐量,默认情况下是无限的:
indices.recovery.max_size_per_sec: 0
(30)设置从对等节点恢复片段时打开的流的数量上限:
indices.recovery.concurrent_streams: 5
(31)设置一个集群中主节点的数量,当多于三个节点时,该值可在2-4之间:
discovery.zen.minimum_master_nodes: 1
(32)设置ping其他节点时的超时时间,网络比较慢时可将该值设大:
discovery.zen.ping.timeout: 3s
http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多关于discovery的设置。
(33)禁止当前节点发现多个集群节点,默认值为true:
discovery.zen.ping.multicast.enabled: false
(34)设置新节点被启动时能够发现的主节点列表:
discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
6、elasticsearch集群的简单说明
单点与集群的关系是依靠同一个主节点名称和不同子节点名称,不同端口号,不同ip作为联系的介质,在配置文件中只需要在个别配置项配置多个不同ip和不同端口,并且同一个集群名称即可
7、工作中elasticsearch踩过的坑
(1)在个别业务场景下需要查询大量的数据并展示出来,无论是http请求查询也好还是elasticsearch API查询也好,当查询大于1024条数据事基本都会遇到一个报错;显示查询内容大于1024,这时需要在elasticsearch的配置文件中增加一个设置:
index.query.bool.max_clause_count: 100000
(2)踩坑继续补充中.............
来源:oschina
链接:https://my.oschina.net/u/3496895/blog/907254