X-Pack

在之前我有专门写两篇文章介绍过 Exceptionless这款开源日志项目的使用和部署 ，但是当时是基于4.1.0版本（2017年的release），时隔两年多Exceptionless也推出了5.0.0版本。 一、关于Exceptionless 5.0.0 　　Exceptionless 是一个开源的实时的好用的日志收集框架，它将日志收集变得简单易用并且不需要了解太多的相关技术细节及配置。但是之前的版本将其Web和API绑定在了Windows平台通过IIS运行，对于已经步入云原生时代的我们显得有点格格不入。5.0.0的发布解决了这一痛点，其最大的变化就是基于ASP.NET Core重写并支持跨平台，也就是说当初我们设想的要是能够基于Docker部署在Linux服务器下就更好了的愿望已经实现了，在此真心 感谢Exceptionless项目的各位贡献者 。本文就Exceptionless 5.0.0版本介绍一下快速地部署开发环境和生产环境，相信对有兴趣的朋友会有一点帮助。 　　至此我也可以将我们之前的Exceptionless从Windows Server迁移到Linux上了！ 二、快速本地部署步骤 2.1 安装Docker 18.09+ 　　由于Exceptionless 5.0.0的一个前置要求是Docker版本（CE）在18.09及以上，因此我们需要安装一个18.09

背景 众所周知，Elasticsearch是⼀个实时的分布式搜索引擎，为⽤户提供搜索服务。当我们决定存储某种数据，在创建索引的时候就需要将数据结构，即Mapping确定下来，于此同时索引的设定和很多固定配置将不能改变。 <!-- more --> 那如果后续业务发生变化，需要改变数据结构或者更换ES更换分词器怎么办呢？为此，Elastic团队提供了很多通过辅助⼯具来帮助开发⼈员进⾏重建索引的方案。 如果对 reindex API 不熟悉，那么在遇到重构的时候，必然事倍功半，效率低下。反之，就可以方便地进行索引重构，省时省力。 步骤 假设之前我们已经存在一个blog索引，因为更换分词器需要对该索引中的数据进行重建索引，以便支持业务使用新的分词规则搜索数据，并且尽可能使这个变化对外服务没有感知，大概分为以下几个步骤：​ 新增⼀个索引 blog_lastest ，Mapping数据结构与 blog 索引一致 将 blog 数据同步至 blog_lastest 删除 blog 索引 数据同步后给 blog_lastest 添加别名 blog 新建索引 在这里推荐一个ES管理工具 Kibana ，主要针对数据的探索、可视化和分析。 put /blog_lastest/ { "mappings":{ "properties":{ "title":{ "type":"text",

ELK菜鸟手记 (三) - X-Pack权限控制之给Kibana加上登录控制以及index_not_found_exception问题解决 参考文章： （1）ELK菜鸟手记 (三) - X-Pack权限控制之给Kibana加上登录控制以及index_not_found_exception问题解决 （2）https://www.cnblogs.com/davidgu/p/6785039.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/stackoom/blog/4681858

应用场景阐述： 本文记录一次解决ElasticSearch开启x-pack安全认证后，logstash无法发送数据至 ES 存储的解决方法。 版本为 logstash-6.8.0、elasticsearch-6.8.0 一、先决条件 首先我们需要 logstash 和 es集群环境，且配置好了 hosts文件映射主机名 例如：vim etc/hosts #es三个节点 pc1 10.20.10.1 pc2 10.20.10.2 pc3 10.20.10.3 logstash-node-1 10.20.10.4 二、开启安全认证 在es主节点的配置文件中（elasticsearch.yml）加入以下一行配置，并重启es，目的是开启安全认证 xpack.security.enabled: true 做完这一步，最基本的安全认证，用户名、密码验证 就配置好了，浏览器访问 http://pc1:9200/ 就会要求输入用户名密码来访问es了 三、设置ES内置用户及密码 1、在Elasticsearch安装目录中运行命令： ./bin/elasticsearch-setup-passwords interactive， 回车之后为每一个用户设置独立的密码。前提是 ES必须为启动状态。 2、你需要在后续步骤中使用这些内置用户，因此务必牢记前面设置的密码！ 四、生成我们所需的证书 ca证书

Elasticsearch 7.7.0使用xpack认证 一. 证书配置: (证书需放至各Node的config目录下) $ cd /opt/elasticsearch/ $ ./bin/elasticsearch-certutil ca $ ./bin/elasticsearch-certutil cert -ca elastic-stack-ca.p12 $ mv elastic-stack-ca.p12 config/ $ mv elastic-certificates.p12 config/ 二. 修改各Node配置文件: $ grep -E -v "^#|^$" config/elasticsearch.yml cluster.name: my-es node.name: node-0 path.data: /opt/elasticsearch/data path.logs: /opt/elasticsearch/logs network.host: 192.168.3.120 http.port: 9200 transport.tcp.port: 9300 transport.tcp.compress: true discovery.seed_hosts: ["docker0","docker1","docker2"] cluster.initial_master

在之前我的文章 “ Elastic：使用Postman来访问Elastic Stack ” 中我介绍了如何在应用中访问 Elasticsearch。在那里，我们使用了最基本的 Basic authentication 的方法来访问 Elasticsearch。这种方法不好的地方就是每个用户所有的请求的验证都是一样的：使用的是同样的一个用户名及密码的 Base64 编码。在今天的文章中，我们将介绍如何创建 API key 来提供对 Elasticsearch 的访问。通过这个方法，一个用户可以动态生成无数个 API Key 的访问。 官方文档，可以在 链接 找到。 接口 它的接口非常简单： POST /_security/api_key PUT /_security/api_key API Key 由 Elasticsearch API key 服务创建，当您在 HTTP 接口上配置TLS时，该服务会自动启用。 请参阅加密 HTTP客户端通信 。 或者，你可以显式启用 xpack.security.authc.api_key.enabled 设置。 在生产模式下运行时，引导检查会阻止您启用 API key 服务，除非你还在 HTTP 接口上启用了TLS。 成功创建 API key API 调用将返回一个JSON结构，其中包含API 密钥，其唯一 ID 和名称。 如果适用

使用elastic stack搭建日志收集分析系统 1. elasticsearch的搭建 2. cerebro的搭建 3. kibana的搭建 4. fielbeat的搭建 随着公司的发展，需要一个日志分析系统，来分析用户数据，为了调研，所以先使用elastic stack搭建了一个单节点的日志收集分析系统。 使用技术：elasticsearch7.1.1、cerebro0.9.0、kibana7.1.1、filebeat7.1.1。 1. elasticsearch的搭建 elasticsearch的搭建 先在官网下载es7.1.1安装包，上传到服务器之后解压。 新建esuser用户。es出于安全考虑，不推荐使用root用户运行。 # 添加用户组 groupadd esgroup # 添加用户 useradd -g esgroup esuser # 修改密码 passwd esuser 修改elasticsearch目录权限。 chown -R esuser:esgroup elasticsearch-7.1.1/ 选择合适的位置，新建es_data(存储es数据)，es_logs(存储es日志)目录，并修改文件夹权限为 esuser:esgroup。 mkdir es_data mkdir es_logs chown -R esuser:esgroup es_data

docker安装Elasticsearch7.6集群并设置密码 Elasticsearch从6.8开始， 允许免费用户使用X-Pack的安全功能， 以前安装es都是裸奔。接下来记录配置安全认证的方法。 为了简化物理安装过程，我们将使用docker安装我们的服务。 一些基础配置 es需要修改linux的一些参数。 设置 vm.max_map_count=262144 sudo vim /etc/sysctl.conf vm.max_map_count=262144 不重启， 直接生效当前的命令 sysctl -w vm.max_map_count=262144 es的data和logs目录需要给1000的用户授权， 我们假设安装3个实力的es集群，先创建对应的数据存储文件 mkdir -p es01/data mkdir -p es01/logs mkdir -p es02/data mkdir -p es02/logs mkdir -p es03/data mkdir -p es03/logs ## es的用户id为1000，这里暂且授权给所有人好了 sudo chmod 777 es* -R 关于版本和docker镜像 Elasticsearch分几种licenses，其中Open Source和Basic是免费的， 而在6.8之后安全功能才开始集成在es的Basic授权上。

报错如下 [2020-06-24T16:19:54,728][WARN ][o.e.b.JNANatives ] [8.1.10.146] Unable to lock JVM Memory: error=12, reason=无法分配内存 [2020-06-24T16:19:54,731][WARN ][o.e.b.JNANatives ] [8.1.10.146] This can result in part of the JVM being swapped out. [2020-06-24T16:19:54,731][WARN ][o.e.b.JNANatives ] [8.1.10.146] Increase RLIMIT_MEMLOCK, soft limit: 65536, hard limit: 65536 [2020-06-24T16:19:54,731][WARN ][o.e.b.JNANatives ] [8.1.10.146] These can be adjusted by modifying /etc/security/limits.conf, for example: # allow user 'elasticsearch' mlockall elasticsearch soft memlock unlimited elasticsearch hard

docker安装Elasticsearch7.6集群并设置密码 Elasticsearch从6.8开始， 允许免费用户使用X-Pack的安全功能， 以前安装es都是裸奔。接下来记录配置安全认证的方法。 为了简化物理安装过程，我们将使用docker安装我们的服务。 一些基础配置 es需要修改linux的一些参数。 设置 vm.max_map_count=262144 sudo vim /etc/sysctl.conf vm.max_map_count=262144 不重启， 直接生效当前的命令 sysctl -w vm.max_map_count=262144 es的data和logs目录需要给1000的用户授权， 我们假设安装3个实力的es集群，先创建对应的数据存储文件 mkdir -p es01/data mkdir -p es01/logs mkdir -p es02/data mkdir -p es02/logs mkdir -p es03/data mkdir -p es03/logs ## es的用户id为1000，这里暂且授权给所有人好了 sudo chmod 777 es* -R 关于版本和docker镜像 Elasticsearch分几种licenses，其中Open Source和Basic是免费的， 而在6.8之后安全功能才开始集成在es的Basic授权上。