kibana

一 环境 VMware® Workstation 15 Pro centos7 (1810) docker19.03.1 二 进入centos7启动dcoker systemctl start docker 三 打开docker官方仓库，搜索elasticsearch以查看需要下载的版本，拉取镜像的时候，官方推荐要指定版本号，目前最新7.3.0 https://hub.docker.com 搜索elasticsearch后，点击tags查看版本更新列表，目前我下载7.3.0的，格式 ：镜像名称:tag 二 拉取elasticsearch镜像，目前官方最新版本7.3.0 由于墙的原因，下载比较慢，需要修改docker的镜像为阿里云的镜像仓库，详情请搜索 拉取镜像的时候，官方推荐要指定版本号，如果没有指定，默认是： 镜像名:latest 下载最新版本，这是不推荐的方式，要避免这样使用 以下开始从阿里云拉取镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch: 7.3 . 0 三 使用镜像创建容器，启动elasticsearch服务 分两种方式，开发者模式和生产模式，开发者不需要配置太多，直接一行命令搞定，生产模式需要更多的配置 1.开发者模式 1.1创建网络 如果需要安装kibana等其他，需要创建一个网络，名字任意取

前言 ElasticSearch是很多程序员都接触到的搜索引擎，在没有它之前大家通常用的是Lucene。 而Elasticsearch是一个基于Lucene搜索引擎为核心构建的开源，分布式，RESTful搜索服务器。 （RESTful就是我们常用的postman调用规范，XML,JSON定义.） 那么今天我将开始讲解一下我使用ElasticSearch应用方面的一些经验吧。 背景 随着公司仓储商品信息量的增加，数据的堆积，普通单库单表数据存储已经得不到满足，尤其是在 第一次加载的时候。其实在这之前我有想过做分表分库。但是目前这个系统是内部客服用来查询商品信息 的简单检索。我对于ES的了解，在简单检索的情况下ES的文档模式远远快于传统关系型数据库的表单模 式。 选好技术之后就开始做下规划，工欲善其事必先利其器。首先必须要搭建好环境。 准备 首先我们要先了解清楚我们需要什么： 1.JDK（因为这个是基于java的） 2.ES服务端 3.KIBANA（我的理解可以把他当作客户端查询器） 4.PostMan 1.JDK安装 这个很简单，就是下载完毕后下一步下一步。但是要注意的是：JDK的版本和ES版本需要对应。 我用的是*elasticsearch-7.6.2 * * jdk1.8.0* 你们可以参照我的版本匹配。 安装完毕后的JDK需要配置环境变量，右键我的电脑---属性---高级--

微博众筹的架构设计 导读：我们每一天都能感受到互联网金融的成长和进步，在 6 月 19 日，微博商业产品部联合天弘基金（余额宝），小米支付、还有创业公司付钱拉等金融技术团队策划了首届互联网金融系统沙龙，围绕在互联网金融过程中碰到核心技术架构、系统安全、数据一致性、业务开发模式等与业界进行分享及交流。本文是陈杰在本次沙龙的演讲，授权高可用架构首发。 陈杰，新浪微博资深系统架构师，毕业于清华大学化学系，从 2004 年开始做过测试、GIS 二次开发、游戏开发、搞过创业，2011 年底到新浪开始接触互联网，喜欢做程序员喜欢做的事。 互联网金融已经影响生活方方面面，我们可以拿着手机，不用银行卡、不用现金来体验新时代的衣食住行。互联网金融现在已经成为互联网巨头争相布局的一个领域，BAT、微博、小米都已经在发力金融。今年年初京东金融融资 66.5 亿人民币，4 月份微博金融发布微博众筹第一款产品。就在本月小米刚刚高调宣布进军民营银行，以获得中国银监会复批。 我今天讲的主题是微博众筹架构，我叫陈杰，2004 年清华化学系毕业，之后不小心进入 IT 这行。最开始做的是测试，后来慢慢接触一些 VB，做了两年的游戏开发，再后来跟朋友去创业，2011 年来到微博开始做互联网相关的一些事情。 本人有两个标签，第一我喜欢骑自行车，在创业之前那时候比较年轻，基本上每周会去两天香山骑车，另外一个标签是奶爸。

把 14 亿中国人民都拉到一个微信群里在技术上能实现吗？ 先说结论：也许可以实现，但你会什么都看不见。 根据 2017 年《微信数据报告》的公开数据 [参考 1] ： 2017 年 9 月，微信日均登陆 9.02 亿人，日均发送消息 380 亿次。 这意味着平均每人每天发送信息 42 条，如果全国人民（对了，现在全国人口已经接近 14 亿）在同一个群里说话，这个群每天出现的信息就高达： 这么多信息仅仅是匀速发送的话，考虑到大家的睡眠，睡觉的 8 小时不算，那么手机里每秒要接收的信息就是： 哇塞，每秒超过 100 万条啊！目前主频最高的手机 CPU 之一，高通骁龙 845有 2.8GHz 的处理能力[参考 2] ，一共是 8 核。 如不计算安卓系统、显示刷新、网络 IO 等 CPU 操作的话，每条信息能分配到的计算能力是： 这是什么概念？全球第一款微处理器是 1971 年英特尔推出的 Intel 4004[参考 3]，这个老古董的主频也有 108KHz 啊。所以 21.9KHz 就是啥也干不了。 幸好 IT 界有个摩尔定律： 每 18 个月 CPU 性能就能翻倍（或者价钱是一半）。虽然现有科技已经很难让主频提升（某牙膏厂拼命挤也只有 5 Ghz）。 但假设我们使用了黑科技提升主频。等到了 2025 摩尔定律失效时[参考 4]，我们的手机 CPU 主频应该达到： 看起来不错嘛

我看大部分教程都是在linux搭建的，那么俺就搭建在win上面吧。 首先，下载E+L+K，下面这个地址都有这3个相关的软件包 Elasticsearch+Logstash+Kibana https://www.elastic.co/downloads 1、安装Logstash，Logstash的版本为：6.3.1 解压后，进入bin文件夹下，新建配置文件logstash.conf，让后输入下面内容 input { kafka{ bootstrap_servers => ["192.168.1.1:9092"] client_id => "test" group_id => "test" topics => ["test"] auto_offset_reset => "latest" codec => json{charset=>"UTF-8"} } } output { elasticsearch { hosts => ["192.168.1.1:9200"] codec => json{charset=>"UTF-8"} index=> "%{source}" } } stdin表示在控制台输入，也可以用其他方式输入，elasticsearch表示输出到elasticsearch，index表示json传参进来的index值映射到ES的index上面去。注意，如果传递有中文

Helm 部署EFK 这里关注一下helm elasticsearch 和kibana 的版本，必须一致 每个节点的/var/log/containers里存放着日志 [root@k8s-master efk]# pwd /root/efk [root@k8s-master elasticsearch]# kubectl create namespace efk 添加仓库 [root@k8s-master efk]# helm repo add incubator https://charts.helm.sh/incubator "incubator" has been added to your repositories 部署 Elasticsearch [root@k8s-master efk]# helm search elasticsearch NAME CHART VERSION APP VERSION DESCRIPTION incubator/elasticsearch 1.10.2 6.4.2 DEPRECATED Flexible and powerful open source, distributed... 后面的kibana 的也必须是6.4.2版本 [root@k8s-master efk]# helm search incubator/kibana -

安装 因为我们需要使用docker来进行安装，我们必须安装： docker：根据不同的操作系统，请按照要求安装docker。可以到网站 https://docs.docker.com/去安装 docker-compose。这个可以到网站 https://docs.docker.com/compose/install/#install-using-pip去安装 用docker来安装Elasticsearch 下载docker image 获取Docker的Elasticsearch就像对Elastic Docker注册表发出docker pull命令一样简单。 docker pull docker.elastic.co/elasticsearch/elasticsearch:7.3.2 上面是以Elasticsearch 7.3.2为例来示范的。在实际的使用中，可以替换它用自己喜欢的版本。 开发或测试环境 从命令行运行Elasticsearch。使用以下命令可以快速启动Elasticsearch以进行开发或测试： docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.3.2 请注意single-node