fluentd

KubeCon+CloudNativeCon，作为由云原生计算基金会（CNCF）发起的最盛大的会议，聚焦着全世界关注云原生领域的目光。 自2016年起，在欧洲、北美等地举办以来，本论坛受到了Kubernetes大牛、开发者、厂商等全球开源技术爱好者的强力追捧。 2018年11月13-15日，KubeCon+CloudNativeCon 2018论坛将首次亮相中国上海，这无疑是对中国技术实力的认可，同时，中国程序员们也将可以在上海跨国采购会展中心共同参与这场顶尖的国际技术盛会。 KubeCon+CloudNativeCon 2018中国论坛作为CNCF的旗舰论坛，得到了Liz Rice、Janet Kuo等大咖的大力支持与推荐。本论坛精彩日程现已出炉，看看你关注的议题和大咖！ 本次论坛为期三天，预计将吸引开发人员、架构师、技术负责人、首席信息官、首席技术官、媒体和分析师等2500多人到场，以主题演讲、分论坛以及展位等形式全方位地为大家打造一场精彩绝伦的技术盛宴。 KubeCon+CloudNativeCon 2018中国论坛将聚焦云原生领域的最新技术动态，CNCF的重点项目Kubernetes、Prometheus、OpenTracing、Fluentd、gRPC、containerd、rkt、CNI、Envoy、Jaeger、Helm等多个项目也将悉数亮相。另外

这个博客最初是由 Ayrat Khayretdinov 在CloudOps博客上发布 云原生景观可能会很复杂和混乱。无数的开源项目都得到了一个充满活力和广阔社区的持续贡献的支持。云原生计算基金会（CNCF）有一幅景观图，展示了云原生解决方案的全部范围，其中许多都在他们的保护伞下。 作为CNCF大使，我积极致力于在加拿大各地推广社区活动和云原生教育。在CloudOps里，我领导了Docker和Kubernetes的研讨会，提供了云原生技术的介绍，并帮助DevOps团队操作他们的应用程序。 我还组织了Kubernetes和云原生meetup来介绍来自世界各地的演讲者，代表各种项目。它们每季度在蒙特利尔、渥太华、多伦多、基奇纳 - 滑铁卢和魁北克市运营。通过@archyufaor联系我或电邮到CloudOps，了解更多关于成为云原生的信息。 与此同时，我还编写了一个关于云原生景观的初学者指南。我希望它能帮助你理解风景，让你更好地了解如何驾驭它。 CNCF的历史 2014年，谷歌开源了一个名为Borg的内部项目，他们一直在使用它来编排容器。由于没有地方来进行这个项目，谷歌与Linux基金会合作创建了云原生计算基金会（CNCF），这将鼓励Kubernetes和其他云原生解决方案的开发和协作。Borg实现在Go中被重写，重新命名为Kubernetes，并作为初始化项目捐赠。很早就很清楚

EFK部署 --- Elasticsearch + Fluentd + Kibana # helm fetch stable/elasticsearch # 可以根据自己的需求修改value值，也可以不修改 # helm install --name els --namespace=efk -f values.yaml stable/elasticsearch # 我们可以通过-f指定使用的values.yaml # kubectl run cirror-$RANDOM --rm -it --image=cirros -- /bin/sh # cirros可以快速建立一个java客户端 # curl els-elasticsearch-client.efk.svc.cluster.local:9200 # curl els-elasticsearch-client.efk.svc.cluster.local:9200/_cat/nodes # helm fetch stable/fluentd-elasticsearch # 拉取 fluentd，修改value.yaml中elasticsearch的host值，host为部署elasticsearch后解析的域名 ♦ 如果需要收集master节点的日志，需要修改tolerations，兼容master节点污点；

点击上方蓝色“ 方志朋 ”，选择“设为星标” 回复“ 666 ”获取独家整理的学习资料！ 来源：r6d.cn/9K3Q 概述 日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角色。 作为一个日志采集的Agent简单来看其实就是一个将数据从源端投递到目的端的程序，通常目的端是一个具备数据订阅功能的集中存储，这么做的目的其实是为了将日志分析和日志存储解耦，同一份日志可能会有不同的消费者感兴趣，获取到日志后所处理的方式也会有所不同，通过将数据存储和数据分析进行解耦后，不同的消费者可以订阅自己感兴趣的日志，选择对应的分析工具进行分析。像这样的具备数据订阅功能的集中存储业界比较流行的是Kafka，对应到阿里巴巴内部就是DataHub还有阿里云的LogHub。而数据源端大致可以分为三类，一类就是普通的文本文件，另外一类则是通过网络接收到的日志数据，最后一类则是通过共享内存的方式，本文只会谈及第一类。一个日志采集Agent最为核心的功能大致就是这个样子了。在这个基础上进一步又可以引入日志过滤、日志格式化、路由等功能，看起来就好像是一个生产车间。从日志投递的方式来看，日志采集又可以分为推模式和拉模式

" NightTeam "，一个值得加星标 的公众号。 总有一些新闻让我们感觉战战兢兢，但每天都觉得这应该不会是我。侥幸，是我们幸福生活的大敌！ 《程序员爬虫竟构成犯罪？注意，别摊上事！》 《只因写了一段爬虫，公司200多人被抓！》 《玩“爬虫”可能触犯的三宗罪》 《编程有罪！写这些代码必被抓》 《因为违法使用开源资源，他们不仅要道歉还要赔钱》 《永嘉警方揪出“黑”百度黑客团伙 干扰搜索引擎牟利超七千万元》 《裁判文书网数据竟被标价售卖：爬虫程序抓取，或构成侵权》 《“车来了”涉嫌偷数据被警方立案，非法获取计算机系统数据是个什么罪？》 《输个验证码都能赚钱？你正在进行违法操作》 《东营市“净网”行动中首个“黑客”犯罪案件成功侦破》 《公安机关侦破网络黑客犯罪案400余起 抓获900余人》 《公安部公布五起打击黑客犯罪典型案件》 《通过“翻墙”访问境外网站被行政处罚》 《使用VPN翻墙软件属于违法行为 可能被追刑责》 《开发这玩意真的犯法，已经有程序员被抓了！》 《51信用卡被查，祸起爬虫抓取数据被某银行举报？》 《裁判文书网数据竟被售卖：爬虫程序抓取 或成侵权》 你不要不以为然，很有可能你吃完泡面后开开心心地在 4K 显示器面前敲着新买的机械键盘时，警察叔叔就站在了你身后： 小伙子，你这行代码有问题 。 然后顺手掏出银手镯，就给你戴上了。各种款式都有，不过你没得选

Helm 部署EFK 这里关注一下helm elasticsearch 和kibana 的版本，必须一致 每个节点的/var/log/containers里存放着日志 [root@k8s-master efk]# pwd /root/efk [root@k8s-master elasticsearch]# kubectl create namespace efk 添加仓库 [root@k8s-master efk]# helm repo add incubator https://charts.helm.sh/incubator "incubator" has been added to your repositories 部署 Elasticsearch [root@k8s-master efk]# helm search elasticsearch NAME CHART VERSION APP VERSION DESCRIPTION incubator/elasticsearch 1.10.2 6.4.2 DEPRECATED Flexible and powerful open source, distributed... 后面的kibana 的也必须是6.4.2版本 [root@k8s-master efk]# helm search incubator/kibana -