fluentd

k8s 免费测试环境分享 ​ 开始学k8s会面临两个拦路虎: GFW和基础环境的投入。 谷歌镜像下载 ​ GFW就不多谈了。作为一个良民，不再多说。但是kubernetes的基础镜像基本来自谷歌，那怎么办呢： 先查看安装kubernetes版本对应的镜像： kubeadm config images list --kubernetes-version v1.1x.x 使用别人的已建好镜像站下载，参考链接( 谷歌镜像代理 ) docker pull anjia0532/google-containers.xxxxx eg: 下载k8s.gcr.io/fluentd-elasticsearch:v2.2.0 docker pull anjia0532/google-containers.fluentd-elasticsearch:v2.2.0 基础环境搭建 学习k8s肯定要搭建基础环境，当然最小的环境为minikube，只需要单台电脑即可。如果想搭建一个集群，但实力不允许可怎么办。下面，我总结了免费搭建或学习k8s方法。 minikube: （一台虚拟机） 最小的k8s测试环境。大家可以搭建。 参考地址： 安装minikube 安装vagrant：（多个虚拟机组成的集群） 一个用来构建和管理虚拟机环境的工具。需要手动配置。 参考地址： 快速部署k8s本地实验环境 参考地址2：

六周玩转云原生 为了让开发者们在这个特殊的时期里可以学习到更多干货，京东智联云开发者特别策划了 《六周玩转云原生》系列课程 ，让我们的开发者可以迅速入门，持续充电。 监控和日志是大型分布式系统的重要基础设施： 监控可以帮助开发者查看系统的运行状态，而日志可以协助问题的排查和诊断 。 云原生应用具有分布与动态的特性，而所有此类应用通常都会用到容器和无服务器函数等临时技术来予以部署。在管理这些云原生应用的时候，能够在任何给定的时间内提供端到端的可视性就显得尤为重要。与此同时，由于云原生系统具有海量的数据流和抽象的复杂性，因此我们必须建立强大的监控和日志记录，以管控各种不可预知的中断或宕机。 没有监控，就无法知晓服务的运行情况，也没有办法知道集群中有没有Down机、机器的CPU使用率和负载是否正常、网站的Traffic是否正常、服务的出错率是不是在可容忍范围内。而日志则详尽记录着系统运行情况，每一次Service的调用，每一次数据库的访问，都应该写进日志，特别是当系统出现问题时。 常用监控方案 在开源社区中，最常用的监控方案就是Prometheus，甚至成为了开源社区的监控标准。 首先，Prometheus是CNCF云原生社区的一个毕业项目，有越来越多的开源项目都以Prometheus为监控标准，类似我们常见的Spark、Tensorflow、Flink项目

项目背景 随着业务的不断优化调整，开发的环境由传统环境转向Docker容器方向，各种开发过程和应用的日志变得更加种类繁多。 因此，集中式的日志管理与展示分析变得尤为重要。 项目实施架构 Docker环境搭建 Centos 7.5 docker ( 一 ) 安装 EFK简介 ## Elasticsearch ： 官网 https://www.elastic.co 分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。 Elasticsearch 基于 Lucene 开发，现在使用最广的开源搜索引擎之一，Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。 ## Fluentd (td-agent)： https://www.fluentd.org 是开源社区中流行的日志采集器，提供了丰富的插件来适配不同的数据源、输出目的地等。 fluentd基于C和Ruby实现，并对性能表现关键的一些组件用C语言重新实现，整体性能不错 由于docker的log driver默认支持Fluentd，所以发送端默认选定Fluentd. td-agent是fluentd的易安装版本，由Treasure Data公司维护。一般会默认包含一些常用插件 fluentd适合折腾，td

本文将介绍在kubernetes 1.9集群下配置elasticsearch、fluentd、kibana集中收集k8s集群日志信息。俗称EFK，其中elasticsearch负责存储日志。fluentd负责将集群中docker主机上的日志发送给elasticsearch，因此fluentd在k8s集群中需要以daemonset的方式运行。kibana负责图形化展示日志信息。 一、环境介绍 软件环境： K8s版本：1.9.0 docker版本：17.03.2-ce Elasticsearch版本及镜像下载地址：k8s.gcr.io/elasticsearch:v5.6.4 Kibana版本及镜像下载地址：docker.elastic.co/kibana/kibana:5.6.4 Fluentd版本及镜像下载地址：gcr.io/google-containers/fluentd-elasticsearch:v2.0.4 Master节点： 主机名：vm1 IP地址：192.168.115.5/24 Node节点： 主机名：vm2 IP地址：192.168.115.6/24 二、下载yaml文件和elasticsearch、fluentd、kibana对应版本的镜像。 镜像的下载需要使用科学上网方式实现。 Yaml文件下载地址： https://github.com

配置和安装 EFK 官方文件目录： cluster/addons/fluentd-elasticsearch $ ls *.yaml es-controller.yaml es-service.yaml fluentd-es-ds.yaml kibana-controller.yaml kibana-service.yaml efk-rbac.yaml 同样EFK服务也需要一个 efk-rbac.yaml 文件，配置serviceaccount为 efk 。 已经修改好的 yaml 文件见： EFK 配置 es-controller.yaml # cat es-controller.yaml apiVersion: v1 kind: ReplicationController metadata: name: elasticsearch-logging-v1 namespace: kube-system labels: k8s-app: elasticsearch-logging version: v1 kubernetes.io/cluster-service: "true" addonmanager.kubernetes.io/mode: Reconcile spec: replicas: 2 selector: k8s-app: elasticsearch-logging

fluentd是一个非常优秀的日志收集工具，这里我主要用它来收集docker-swarm集群的各个容器的日志。 fluentd使用插件： 用于路径中加入tag： fluent-plugin-forest 用于修改record： fluent-plugin-record-reformer 用于修改tag： fluent-plugin-rewrite-tag-filter 用于正则匹配日志内容，进行筛选： fluent-plugin-grep Shell 1 2 3 4 5 6 7 # 客户端需要安装的插件 /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-rewrite-tag-filter /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-grep /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-record-reformer # 服务器端需要安装的插件 /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-forest fluentd安装-基本文件路径-插件安装 fluentd-安装： http://www