ElasticSearch

使用docker-elk搭建并实践ELK日志分析框架

我的未来我决定 提交于 2021-02-15 03:52:51
点击上方 蓝色字体 ,选择“标星公众号” 优质文章,第一时间送达 作者 | reddevil_zs 来源 | urlify.cn/3mYfuq 66套java从入门到精通实战课程分享 1. ELK日志分析简介 1.1 ELK日志分析概述   ELK可运行于分布式系统之上,通过搜集、过滤、传输、储存,对海量系统和组件日志进行集中管理和准实时搜索、分析,使用搜索、监控、事件消息和报表等简单易用的功能,帮助运维人员进行线上业务的准实时监控、业务异常时及时定位原因、排除故障、程序研发时跟踪分析Bug、业务趋势分析、深度挖掘日志的大数据价值。ELK主要可解决的问题如下:1.日志查询,问题排查,上线检查.2.服务器监控,应用监控,错误报警,Bug管理. 3.性能分析,安全漏洞分析。综上,ELK是一套方便、易用的日志分析开源解决方案。 1.2 ELK主要组件介绍   生产环境中,ELK通常由以下4个组件构成: 1.2.1 ElasticSearch组件   ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的

从普通Java程序员到阿里高级架构师,他用了6年!

我怕爱的太早我们不能终老 提交于 2021-02-14 09:35:52
6年间,一位架构师待过四大门户中的两户,已完成了工程师到架构师的蜕变。经手几款从零到一产品的开发和增涨,也亲身经历国內最大社交网络平台亿级数据流量和用户的架构设计及优化工作。在工作中思路清晰、尽职尽责,是同事们心目中出色 Problem Solver。 参加工作时间:8 年 服务公司:4 家(含四大门户中的两户) 近期岗位:Java 架构师 职场关键词:社交网络平台、高并发系统架构设计、技术团队管理、多款从零到一的产品城市! 问: 介绍一下下你自身 答: 我 2007 年本科大学毕业,前 2 年在一家传统式 it互联网 企业,近期 6 年在互联网企业,现任 Java 开发工程师、高级工程师、架构师等职位。工作内容上,经历过多款产品从零到一的诞生开发过程,也经手过国內用户、內容和数据流量最大的社交/社区产品的架构改造优化工作,有丰富的社交产品的研发经验,目前在一家创业公司担任技术合伙人。 问: 你擅长的技术各个领域是啥? 答: 擅长的开发语言是 Java、Golang、Scala,熟悉程度依次递减。专注于高性能、高并发系统架构设计和实现。 问: 平常如何向亲戚朋友解释你的工作是干什么的? 答: 通常不详细解释,即便解释了也是白费力气。所以她们会按照自身的了解来描述我的工作,例如维修电脑的,例如买手机的。 问: 你认为程序猿能否当一辈子吗?有木有想像过自个 45 岁时在做什么工作? 答

「民工哥技术之路」2019年 5 月文章集合

梦想的初衷 提交于 2021-02-13 19:28:45
点击上方 “ 民工哥技术之路 ” 选择“星标” 每天 为你 分享 不一样的干货 读者福利!多达 2048G 各种资源免费赠送 之前已经整理到4月份: 我把公众号所有的精华文章都整理出来了 , 后面将陆续整理当年每个月的文章集合,继而将每年的文章统一成一个合集,方便后面的读者查看与检索。整理不易,如有帮助,希望大家动手 点个 在看 与 转发分享 支持一波。 以下是5月份文章集合「点击标题跳转阅读」: 强大!Nginx 配置在线一键生成“神器” 构建高效安全的Nginx Web服务器 Prometheus 使用总结:我踩过得那些坑 学习Docker,新手最容易犯的11个错误! 10个小技巧提高 Kubernetes 容器效率 深度好文:Nginx 是如何启动并处理 http 请求的? 使用 Docker-compose 一键部署gitlab 高逼格企业级MySQL数据库备份方案,原来是这样.... Redis 这么火,它都解决了哪些问题? 面试必问的 Mysql 四种隔离级别,看完吊打面试官 高可用数据库主从复制延时的解决方案 服务器性能优化的正确姿势(好文推荐) 一篇超实用的服务异常处理指南 一文看懂web服务器、应用服务器、web容器、反向代理服务器区别与联系 你头疼的ELK难题,本文几乎都解决了 3台廉价机器每秒写入2百万!Kafka为什么那么快? 超全|138 条 Vim 命令

「民工哥技术之路」2019年 10 月文章集合

泄露秘密 提交于 2021-02-13 19:05:00
点击上方 “ 民工哥技术之路 ” 选择“ 星标 ” 每天为你 分享 不一样的 干货 读者福利!多达 2048G 各种资源免费赠送 整理不易,如有帮助,请随手 点个在看 与 转发分享 支持一下! Nginx为什么高效? 一文搞明白Nginx核心原理 MySQL 同步复制及高可用方案总结 首次公开,阿里史上最重要的三段代码 大型网站的灵魂——性能 官方工具|MySQL Router 高可用原理与实战 SQL 性能优化梳理 什么是高并发架构? 微信PC版重磅更新! 2个困扰多年的大麻烦,这次终于解决了 只因写了一段爬虫,公司200多人被抓! 程序员因接外包坐牢 456 天! 两万字揭露心酸经历 十年磨一剑! 腾讯QQ Linux版 2.0.0 Beta重磅发布! 老鸟程序员才知道的40个小技巧 “1024 节”Keep大裁员,健身独角兽身陷商业化迷途! 【底层原理】利用cpu缓存实现高性能程序 16 张图带你快速入门 Ansible GitHub 标星 5w+! Python 新手 100 天学习计划 也许,这样理解HTTPS更容易! Docker Hub上镜像发现挖矿蠕虫病毒,已导致2000台主机感染 用了 10 多年的 Tomcat 居然有bug ! 重大升级! 微信终于出手了,以后再发这些,罚! 蚂蚁金服自研数据库拿下世界第一! 性能超Oracle 100% 零代码入门GitHub

如何去写一手好SQL

霸气de小男生 提交于 2021-02-13 17:22:30
MySQL性能 最大数据量 抛开数据量和并发数,谈性能都是耍流氓。MySQL没有限制单表最大记录数,它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB,才推荐分库分表。性能由综合因素决定,抛开业务复杂度,影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考,并非铁律。 博主曾经操作过超过4亿行数据的单表,分页查询最新的20条记录耗时0.6秒,SQL语句大致是 select field_1,field_2 from table where id < #{prePageMinId} order by id desc limit 20 ,prePageMinId是上一页数据记录的最小ID。 虽然当时查询速度还凑合,随着数据不断增长,有朝一日必定不堪重负。分库分表是个周期长而风险高的大活儿,应该尽可能在当前结构上优化,比如升级硬件、迁移历史数据等等,实在没辙了再分。对分库分表感兴趣的同学可以阅读分库分表的基本思想。 最大并发数 并发数是指同一时刻数据库能处理多少个请求,由max_connections和max_user_connections决定。max_connections是指MySQL实例的最大连接数,上限值是16384,max_user_connections是指每个数据库用户的最大连接数

【Python】Elasticsearch和elasticsearch_dsl

半腔热情 提交于 2021-02-13 07:27:21
官网: https://elasticsearch-py.readthedocs.io/en/master/api.html 官网: https://github.com/elastic/elasticsearch-py/tree/master/elasticsearch/client 官网: https://elasticsearch-dsl.readthedocs.io/en/latest/api.html from elasticsearch_dsl import connections, Search from elasticsearch import Elasticsearch from elasticsearch.exceptions import * es_object = Elasticsearch([ ' url:9200 ' ], sniffer_timeout=60, timeout=30 ) # 获取es中所有的索引 # 返回类型为字典,只返回索引名 es_object.cat.indices(format= ' json ' ,h= ' index ' ) # 查询多个索引 es_s_object = Search(using = es_object, index = [ ' log-2018-07-31 ' , ' log-2018-07-30 ' ,

elasticsearch简介和elasticsearch_dsl

岁酱吖の 提交于 2021-02-13 07:19:48
elasticsearch es是基于lucene分片(shard)存储的近实时的分布式搜索引擎 名词解释: Lucene:使用java语言编写的存储与查询框架,通过组织文档与文本关系信息进行倒排索引,内部形成多个segment段进行存储,是es的核心组件,但不具备分布式能力。 segment:Lucene内部最小的存储单元,也是es的最小存储单元,多个小segment可合为一个较大的segment,并但不能拆分。 shard:es为解决海量数据的处理能力,在Lucene之上设计了分片的概念,每个分片存储部分数据,分片可以设置多个副本,通过内部routing算法将数据路由到各个分片上,以支持分布式存储与查询。 近实时:严格讲es并不是索引即可见的数据库,首先数据会被写入主分片所在机器的内存中,再触发flush操作,形成一个新的segment数据段,只有flush到磁盘的数据才会被异步拉取到其它副本节点,如果本次搜索命中副本节点且数据没有同步的话,那么是不会被检索到的;es默认flush间隔是1s,也可通过修改refresh_interval参数来调整间隔(为提升性能和体验,一版设置30s-60s)。 分布式:es天生支持分布式,配置与使用上与单机版基本没什么区别,可快速扩张至上千台集群规模、支持PB级数据检索;通过内部路由算法将数据储存到不同节点的分片上;当用户发起一次查询时

Kubernetes Pod 生命周期

白昼怎懂夜的黑 提交于 2021-02-12 22:37:51
Pod 生命周期 Pod 的 status 定义在 PodStatus 对象中,其中有一个 phase 字段。它简单描述了 Pod 在其生命周期的阶段。熟悉Pod的各种状态对我们理解如何设置Pod的调度策略、重启策略是很有必要的。 下面是 phase 可能的值: 阶段 描述 Pending Pod 已被 Kubernetes 系统接受,但有一个或者多个容器镜像尚未创建。等待时间包括调度 Pod 的时间和通过网络下载镜像的时间,这可能需要花点时间。 Running 该 Pod 已经绑定到了一个节点上,Pod 中所有的容器都已被创建。至少有一个容器正在运行,或者正处于启动或重启状态。 Succeeded Pod 中的所有容器都被成功终止,并且不会再重启。 Failed Pod 中的所有容器都已终止了,并且至少有一个容器是因为失败终止。也就是说,容器以非0状态退出或者被系统终止。 Unknown 因为某些原因无法取得 Pod 的状态,通常是因为与 Pod 所在主机通信失败。 Pod 状态 Pod 有一个 PodStatus 对象,其中包含一个 PodCondition 数组,代表 Condition 是否通过。 PodCondition 属性描述: 字段 描述 lastProbeTime 最后一次探测 Pod Condition 的时间戳。 lastTransitionTime 上次

Elasticsearch 基本命令

允我心安 提交于 2021-02-11 22:04:21
创建一个索引 Elasticsearch 命令的一般格式是:REST VERBHOST:9200/index/doc-type— 其中 REST VERB 是 PUT、GET 或 DELETE。(使用 cURL -X 动词前缀来明确指定 HTTP 方法。) 要创建一个索引,可在您的 shell 中运行以下命令: curl -XPUT “ http://localhost:9200/music/ ” 插入一个文档 要在 /music 索引下创建一个类型,可插入一个文档。在第一个示例中,您的文档包含数据(包含一行)“Deck the Halls” 的歌词,这是一首最初由威尔士诗人 John Ceirog Hughes 于 1885 年编写的传统的圣诞歌曲。 要将包含 “Deck the Halls” 的文档插入索引中,可运行以下命令(将该命令和本教程的其他 cURL 命令都键入到一行中): curl -XPUT "http://localhost:9200/music/songs/1" -d '{ "name": "Deck the Halls", "year": 1885, "lyrics": "Fa la la la la" }' 运行以上命令可能出现异常错误: {“error”:”Content-Type header [application/x-www-form