Beats

参考链接： https://www.cnblogs.com/fbtop/p/11005469.html 目的： 线程请求生成对应的requestId，根据requestId追踪链路生产消费的数据，方便定位问题和回溯；基于一些XXX考虑，和阿巴阿巴阿巴的原因先拿FileBeat+ELK的方式进行实验，跑通日志收集和展示的功能。 为了避免重复造轮子，本篇只对上出链接博客做一些补充： 1.单机/docker/版本7.1.1； 2.docker四大网络的特点： https://www.cnblogs.com/zhuochong/p/10069293.html ；本次采用net=bridge的网络模式，禁止出现localhost 和127.0.0.1，统一使用本机ip（重要）； 3.对docker -v挂载命令有所了解； 4.确认fileBeat是否采集到了日志：进入容器 [docker exec -i -t 容器号 bash] ，查看/var/log/nginx/下的日志文件即可；另外docker启动时可以去掉 -d 参数，观看启动运行日志，方便查看状态； 下载 curl -L -O https://raw.githubusercontent.com/elastic/beats/7.1/deploy/docker/filebeat.docker.yml时提示链接失败

ElasticStack介绍 　　ElasticStack 是一系列开源产品的合集，包括 Elasticsearch、Kibana、Logstash 以及 Beats 等，能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。其中，Logstash和Beats负责数据的收集，Kibana负责结果数据的可视化展现，Elasticsearch作为核心部分用于数据的分布式存储以及索引。 　　可以使用ElasticStack进行收集并处理任何数据，最为经典的是用于实时日志数据的收集、存储、展现。在此之前，如果实现实时日志的分析，需要经过繁琐的架构设计并且使用多个系统实现，现在只需要使用ElasticStack即可实现功能强大的实时日志分析系统，ElasticStack不仅仅用来做日志分析，它可以处理任何的数据并且进行存储、展现。 　　 　　 　　 Elasticsearch 　　Elasticsearch 基于java，是个开源分布式搜索引擎，它的特点有:分布式，零配置，自动发现，索引自动分片，索引 副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 　　Logstash 基于java，是一个开源的用于收集,分析和存储日志的工具。 Kibana 　　Kibana 基于nodejs，也是一个开源和免费的工具，Kibana可以为

  在做博弈模型评估的时候，遇到一个问题是如何评价多个模型的优劣。例如我有训练好的三个围棋模型A,B,C，两两之间对打之后有一个胜负关系，如何对这三个模型进行排序呢？通常对于人类选手这种水平有波动的情形，棋类比赛通常计算选手Elo得分按分值排序，足球篮球等通过联赛积分或胜场进行排序，但对于固定不变的AI模型，我认为用类似PageRank的方式计算更方便也更加准确。   这篇文章先从问题来源讲起，再讲解PageRank算法的思想，最后编程实现排序方法并指出一些需要注意的地方。 目录 一、问题来源 二、PageRank算法 算法思想 数学原理 三、实例分析 对角线取值 构造不可约且正常返 完整代码及示例 一、问题来源   现在，深度强化学习更多的用在博弈模型的训练当中，比如围棋的AlphaZero，星际争霸的AlphaStar,DOTA的OpenAI FIVE。比如我们已经训练好了三个模型A，B，C，并且可以相互对打很多局，我们需要一个方法排出谁第一，谁第二。之前NeurIPS2019多智能体竞赛设计的排序方法就存在明显的bug,出现了A能胜过B，且A对C的胜率高于B对C的胜率，最后算出的排名却是B更靠前。主办方也承认了计算方式有缺陷并表示会在之后的比赛中修正，但是当前排名维持不变。   那为什么成熟的Elo值计算方式没有用在这类模型评估上面呢？Elo值通常用在围棋、象棋等棋类排名上

Logstash https://www.elastic.co/cn/logstash 集中、转换和存储数据 Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。 Logstash is an open source data collection engine with real-time pipelining capabilities. Logstash can dynamically unify data from disparate sources and normalize the data into destinations of your choice. Cleanse and democratize all your data for diverse advanced downstream analytics and visualization use cases. How Logstash Works https://www.elastic.co/guide/en/logstash/current/pipeline.html#pipeline The Logstash event processing pipeline has three stages: inputs → filters

0、问题引出 经群讨论，建议从以下几个方面展开，大家有好的想法，也欢迎留言交流。 1、可视化展示ELK效果 如果条件允许，demo的内容是：通过logstash 同步日志或数据库（oracle、mysql）表的数据到 Elasticsearch，然后通过kibana进行可视化。 1 通过Canvas对数据进行可视化布局与展现，可以实现非常酷炫的大屏展示效果。 2 展示实时数据的数据量。 3 展示你定的几个维度的数据信息。 这么切入的目的：很直观，很明显，很接地气。用到ELK技术栈的内容，有带动性，让参与的同事不犯困且很容易让大家对它产生兴趣。 2、 Elk stack大家族简介 考虑到不同受众关注点不同。结合业务的数据的特点，从输入、中间处理、存储&检索、分析等全数据流环节展开。 2.1 输入 Elastic 支持的输入包含但不限于： 日志类数据：类log4j.log，apache log等，可借助 beats或logstash同步 关系型数据库：mysql oracle pgsql等 非关系型数据库:mongodb redis等 实时数据流：flink spark kafka hdfs等 大数据：hadoop hdfs等 此处的不同数据的导入，Lostash有丰富的input/output插件，支持N多不同数据源接入，估计同事也会眼前一亮。 2.2 中间处理ETL

清扫银河 如果只进行 1 操作，不难证明存在操作序列的充要条件是将所有 1 边拿出来，所有点的度数为偶数，构造方案使用欧拉回路。 因为不存在重边，所以进行 1 操作时每个环环长一定大于 2，因此如果存在一个只有 1 操作的合法操作序列，这个序列的最短长度不大于 \(\lfloor \frac{m}{3} \rfloor\) 。 然后考虑 2 操作能为 1 操作做些什么。 首先可以发现性质：在一次 2 操作中将集合 \(S\) 中的点变白、其余点变黑进行翻转，等价于对 \(S\) 中的每一个点 \(x\) 将 \(x\) 变白其余点变黑进行一次翻转。 那么可以只考虑每次只有一个点翻转的情况。那么每一个点至多翻转 \(1\) 次。某个点翻转一次会导致与这个点直接相连的所有点 1 边数量的奇偶性产生变化，还会根据当前点度数对当前点 1 边数量的奇偶性产生变化。 考虑使用 0/1 异或方程描述。设 \(f_i\) 表示第 \(i\) 个点是否翻转， \(d_i\) 表示 \(i\) 点度数， \(p_i\) 表示初始态下 \(i\) 点连接的 \(1\) 边数量的奇偶性，那么有异或方程： \[\sum\limits_{(u,v) \in e}f_v \oplus [2 \not\mid d_u] f_u = p_u \] 如果该方程有解，注意到如果两个点直接相连，可以把它们的翻转操作合并

重磅福利:开通vip 全站视频免费下载，季度vip只要38元，只是几包烟的价格，就能享受慕课网，极客时间，麦子学院等机构全部视频，等什么了，童鞋！！！ 点击开通VIP 说明：1人民币 = 10金币 IT猿课(www.ityuanke.com) [it猿课]编程论坛jksj超清视频课72-Elasticsearch核心技术与实战 第一章：概述 (4讲)  01 | 课程介绍 免费 02 | 内容综述及学习建议 免费 03 | Elasticsearch简介及其发展历史 免费 04 | Elastic Stack家族成员及其应用场景 免费 第二章：安装上手 (4讲)  05 | Elasticsearch的安装与简单配置 免费 06 | Kibana的安装与界面快速浏览 07 | 在Docker容器中运行Elasticsearch Kibana和Cerebro 08 | Logstash安装与导入数据 第三章：Elasticsearch入门 (15讲)  09 | 基本概念：索引、文档和REST API 10 | 基本概念：节点、集群、分片及副本 11 | 文档的基本CRUD与批量操作 12 | 倒排索引介绍 13 | 通过Analyzer进行分词 14 | Search API概览 15 | URI Search详解 16 | Request Body与Query DSL简介

本篇文章主要介绍elk的一些框架组成，原理和实践，采用的ELK本版为7.7.0版本 一、ELK介绍 1.1、ELK简介 　　ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称(但是后期出现的filebeat(beats中的一种)可以用来替代logstash的数据收集功能，比较轻量级)。市面上也被成为Elastic Stack。 　　Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。 　　Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。Logstash能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用Grok从非结构化数据中派生出结构，从IP地址解码出地理坐标，匿名化或排除敏感字段

少点代码，多点头发 本文已经收录至我的GitHub,欢迎大家踊跃star 和 issues。 https://github.com/midou-tech/articles 从今天开始准备给大家带来全新的一系列文章，Elasticsearch系列 新系列肯定会有很多疑惑，先为大家答疑解惑，下面是今天要讲的问题 为什么写Elasticsearch系列文章？ 之前在文章中也陆陆续续的提到过，龙叔是做搜索引擎的。搜索引擎技术属于商业技术，大家耳熟能详的百度搜索，Google搜索，这可都是因为把握核心搜索技术，从而诞生了商业帝国。 每个互联网大厂都想去分一杯搜索的羹，360搜索、神马、头条、搜狗搜索等等，由此可见搜索技术的商业作用和机密性了。 搜索把握用户的入口 蘑菇街的搜索引擎是一款使用C++开发、完全自研、没有开源的搜索引擎，没有开源就是不能随便写出来的。 但是现在不一样了 第一、我离职了，离开了意味着不在持有那些商业机密了，就算不讲出来我也没啥心理负担(但还是不能讲的，离职协议写的很清楚，不能 泄露公司商业机密 )。 第二、去新的公司还是在搜索领域，他们用Es Elasticsearch是一个开源搜索，开源的东西可以随便说，但还是不能说公司的 商业数据 。 自己一直在搜索领域做，输出搜索相关的文章，第一个可以让自己更好的学习和总结，第二个可以让粉丝们了解到搜索这个神秘的技术

版本号:7.3.1 1.需要在配置文件中开启x-pack验证, 修改config目录下面的elasticsearch.yml文件，在里面添加如下内容,并重启. xpack.security.enabled: true xpack.license.self_generated.type: basic xpack.security.transport.ssl.enabled: true 2，执行设置用户名和密码的命令,这里需要为4个用户分别设置密码，elastic, kibana, logstash_system,beats_system bin/elasticsearch-setup-passwords interactive Initiating the setup of passwords for reserved users elastic,kibana,logstash_system,beats_system. You will be prompted to enter passwords as the process progresses. Please confirm that you would like to continue [y/ N]y Enter password for [elastic]: passwords must be at least [ 6 ]