ElasticSearch2.3.3离线搭建(windows+Linux)

杀马特。学长 韩版系。学妹 提交于 2019-12-01 03:53:59

1、ElasticSearch介绍

ElasticSearch 是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch 是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

我们建立一个网站或应用程序,并要添加搜索功能,但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快,我们希望能有一个零配置和一个完全免费的搜索模式,我们希望能够简单地使用JSON通过HTTP来索引数据,我们希望我们的搜索服务器始终可用,我们希望能够从一台开始并扩展到数百台,我们要实时搜索,我们要简单的多租户,我们希望建立一个云的解决方案。因此我们利用Elasticsearch 来解决所有这些问题以及可能出现的更多其它问题。

2、ElasticSearch优点

便于安装支持多平台:Linux,Windows等

便于开发支持多语言:Java,Python,PHP等

查询速度快,使用于大量数据查询

支持分词系统和聚合分析等多种功能

3、window和Linux

提示:以elasticsearch-2.3.3为例,无论是Windows还是Linux在配置elasticsearch.yml文件时对其中的配置项保持严格的缩进,否则启动可能报错

并且当前安装elasticsearch版本较低,后续版本可能与此不同但是万变不离其宗。

3.1、Windows搭建ElasticSearch

(1)将下载好的elasticsearch-2.3.3.zip包解压

(2)进入elasticsearch-2.3.3目录下的conf下

(3)修改elasticsearch.yml(详细介绍见文章结尾)配置文件中的network.host选项为自己本地的ip地址

(4)在此返回到elasticsearch-2.3.3目录下并进入到bin目录下双击启动elasticsearch.bat该文件即可

3.2、Linux搭建elasticsearch

(1)将下载好的elasticsearch-2.3.3.zip包解压

(2)进入elasticsearch-2.3.3目录下的conf下

(3)修改elasticsearch.yml(详细介绍见文章结尾)配置文件

cluster.name:英文集群名称 
node.name: 英文节点名称
path.data: 数据存放位置
path.logs:日志存放位置
network.host:主节点ip地址
transport.tcp.port: tcp端口一般使用9300
http.port: web访问端口一般使用9200

 

(4)在此返回到elasticsearch-2.3.3目录下并进入到bin目录下执行./elasticsearch即可,后台执行需在后面加上-d

4、安装head,kopf,elasticsearch-sql可视化插件等

4.1、查看elasticsearch-2.3.3目录下是否含有plugins改目录,如果没有则需要手动创建

4.2、将head.zip解压至plugins目录下按照以上步骤重新启动即可

访问地址:http://ip:9200/_plugin/head/

同理kopf和elasticsearch-sql安装

特殊说明:只有elasticsearch-sql插件只能查询并且可以将sql转为elasticsearch聚合语句;而kopf和head既可以做查询又可以做增、删、改

head插件展示效果图

 

kopf插件展示效果图

 

elasticsearch-sql插件展示效果图

5、关于elasticsearch.yml配置详解

(1)集群名称,默认为elasticsearch

            cluster.name:elasticsearch

(2)节点名称,es启动时会自动创建节点名称,但你也可进行配置

            node.name: "node1"

(3)是否作为主节点,每个节点都可以被配置成为主节点,默认值为true

            node.master: true

(4)是否存储数据,即存储索引片段,默认值为true

            node.data: true

            {master和data同时配置会产生一些奇异的效果:

            1) 当master为false,而data为true时,会对该节点产生严重负荷;

            2) 当master为true,而data为false时,该节点作为一个协调者;

            3) 当master为false,data也为false时,该节点就变成了一个负载均衡器。}

(5)每个节点都可以定义一些与之关联的通用属性,用于后期集群进行碎片分配时的过滤

             node.rack: rack1

(6)默认情况下,多个节点可以在同一个安装路径启动,如果你想让你的es只启动一个节点,可以进行如下设置

            node.max_local_storage_nodes: 1

(7)设置一个索引的碎片数量,默认值为5

            index.number_of_shards: 5

(8)设置一个索引可被复制的数量,默认值为1

            index.number_of_replicas: 1

(9)配置文件所在的位置,即elasticsearch.yml和logging.yml所在的位置

            path.conf: /path/to/conf

(10) 分配给当前节点的索引数据所在的位置:

            path.data: /path/to/data

(11) 临时文件位置:

            path.work: /path/to/work

(12)日志文件所在位置:

            path.logs: /path/to/logs

(13) 插件安装位置:

            path.plugins: /path/to/plugins

(14) 插件托管位置,若列表中的某一个插件未安装,则节点无法启动:

            plugin.mandatory: mapper-attachments,lang-groovy

(15) JVM开始交换时,ElasticSearch表现并不好:你需要保障JVM不进行交换,可以将bootstrap.mlockall设置为true禁止交换:

            bootstrap.mlockall: true

            请确保ES_MIN_MEM和ES_MAX_MEM的值是一样的,并且能够为ElasticSearch分配足够的内在,并为系统操作保留足够的内存。

(16)默认情况下,ElasticSearch使用0.0.0.0地址,并为http传输开启9200-9300端口,为节点到节点的通信开启9300-9400端口,也可以自行设置IP地址:

            network.bind_host: 192.168.0.1

(17)publish_host设置其他节点连接此节点的地址,如果不设置的话,则自动获取,publish_host的地址必须为真实地址:

            network.publish_host: 192.168.0.1

(18)bind_host和publish_host可以一起设置:

            network.host: 192.168.0.1

(19)可以定制该节点与其他节点交互的端口:

            transport.tcp.port: 9300

(20)节点间交互时,可以设置是否压缩,转为为不压缩:

            transport.tcp.compress: true

(21)可以为Http传输监听定制端口:

            http.port: 9200

(22)设置内容的最大长度:

            http.max_content_length: 100mb

(23)禁止HTTP

            http.enabled: false

(24)网关允许在所有集群重启后持有集群状态,集群状态的变更都会被保存下来,当第一次启用集群时,可以从网关中读取到状态,默认网关类型(也是推荐的)是local:

            gateway.type: local

(25)允许在N个节点启动后恢复过程:

            gateway.recover_after_nodes: 1

(26)设置初始化恢复过程的超时时间:

            gateway.recover_after_time: 5m

(27)设置该集群中可存在的节点上限:

            gateway.expected_nodes: 2

(28)设置一个节点的并发数量,有两种情况,一种是在初始复苏过程中:

            cluster.routing.allocation.node_initial_primaries_recoveries: 4

            另一种是在添加、删除节点及调整时:

            cluster.routing.allocation.node_concurrent_recoveries: 2

(29)设置复苏时的吞吐量,默认情况下是无限的:

            indices.recovery.max_size_per_sec: 0

(30)设置从对等节点恢复片段时打开的流的数量上限:

            indices.recovery.concurrent_streams: 5

(31)设置一个集群中主节点的数量,当多于三个节点时,该值可在2-4之间:

            discovery.zen.minimum_master_nodes: 1

(32)设置ping其他节点时的超时时间,网络比较慢时可将该值设大:

            discovery.zen.ping.timeout: 3s

            http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多关于discovery的设置。

(33)禁止当前节点发现多个集群节点,默认值为true:

            discovery.zen.ping.multicast.enabled: false

(34)设置新节点被启动时能够发现的主节点列表:

            discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

6、elasticsearch集群的简单说明

单点与集群的关系是依靠同一个主节点名称和不同子节点名称,不同端口号,不同ip作为联系的介质,在配置文件中只需要在个别配置项配置多个不同ip和不同端口,并且同一个集群名称即可

7、工作中elasticsearch踩过的坑

(1)在个别业务场景下需要查询大量的数据并展示出来,无论是http请求查询也好还是elasticsearch API查询也好,当查询大于1024条数据事基本都会遇到一个报错;显示查询内容大于1024,这时需要在elasticsearch的配置文件中增加一个设置:

            index.query.bool.max_clause_count: 100000

(2)踩坑继续补充中.............

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!