fluentd

09 . Kubernetes之pv、pvc及使用nfs网络存储应用

笑着哭i 提交于 2020-07-28 08:04:17
PV,PVC概述 PV的全称是: PersistentVolume (持久化卷),是对底层的共享存储的一种抽象,PV由管理员进行创建和配置,它和具体的底层的共享存储技术的实现方式有关,比如Ceph、GlusterFS、NFS等,都是通过插件机制完成与共享存储的对接. PVC的全称是: PersistenVolumeClaim (持久化卷声明),PVC是用户存储的一种声明,PVC和Pod比较类型,Pod是消耗节点,PVC消耗的是PV资源,Pod可以请求CPU的内存,而PVC可以请求特定的存储空间和访问模式。对于真正存储的用户不需要关心底层的存储实现细节,只需要直接使用PVC即可. 但是通过PVC请求一定的存储空间也很有可能不足以满足对于存储设备的各种需求,而且不同的应用程序对于存储性能的要求也能也不尽相同,比如读写速度、并发性能等,为了解决这一问题,Kubernetes又为我们引入了一个新的资源对象: StorageClass,通过StorageClass的定义,管理员可以将存储资源定义为某种类型的资源,比如快速存储、慢速存储等,用户根据StorageClass的描述就可以非常直观的知道各种存储资源特性了,这样就可以根据应用的特性去申请合适的存储资源了. PV和PVC生命周期 PV可以看作可用的存储资源,PVC则是对存储资源的需求,PV和PVC的互相关系遵循如下图 资源供应

Why is fluentd JSON parser not working properly?

懵懂的女人 提交于 2020-07-10 07:58:07
问题 I'm using the image gcr.io/google-containers/fluentd-elasticsearch (v2.3.1) in order to make fluentd collect some logs and send them to Elastic search. I'm using the below configuration for fluentd: <source> type forward port {{.Values.fluentd.forward.port}} bind 0.0.0.0 </source> <filter kube.**> @type parser @log_level debug key_name log reserve_data true remove_key_name_field true <parse> @type json time_key time time_type string time_format %iso8601 </parse> </filter> <filter kube.**>

fluentd not parsing JSON log file entry

邮差的信 提交于 2020-06-29 04:31:21
问题 I've seen a number of similar questions on Stackoverflow, including this one. But none address my particular issue. The application is deployed in a Kubernetes (v1.15) cluster. I'm using a docker image based on the fluent/fluentd-docker-image GitHub repo, v1.9/armhf , modified to include the elasticsearch plugin. Elasticsearch and Kibana are both version 7.6.0 . The logs are going to stdout and look like: {"Application":"customer","HTTPMethod":"GET","HostName":"","RemoteAddr":"10.244.4.154

Tungsten Fabric入门宝典丨主流监控系统工具的集成

℡╲_俬逩灬. 提交于 2020-05-09 08:53:58
Tungsten Fabric入门宝典系列文章,来自技术大牛倾囊相授的实践经验,由TF中文社区为您编译呈现,旨在帮助新手深入理解TF的运行、安装、集成、调试等全流程。如果您有相关经验或疑问,欢迎与我们互动,并与社区极客们进一步交流。更多TF技术文章,请点击公号底部按钮>学习>文章合集。 作者:Tatsuya Naganawa 译者:TF编译组 尽管Tungsten Fabric具有不错的监视/警报功能,但可能需要将它们集成到完整的监视系统中。 让我举例说明如何将它们与Promethesus和EFK集成。 Prometheus (编者按:Prometheus 是一个开源监控系统,几乎所有云原生系统都以 Prometheus的指标格式输出运行时的监控信息。) 为了监视和可视化Tungsten Fabric系统中发生的情况,prometheus将是一种可能的选择。 一些工具(例如zabbix)支持抓取prometheus格式,因此在监视工具中作为通用格式也很有用: https://www.zabbix.com/documentation/4.2/manual/config/items/itemtypes/prometheus 要按prometheus进行抓取,需要以Prometheus的格式从Tungsten Fabric导出相关指标,有两种方法可以实现此目的: 直接从内省HTTP

KubeCon 改为线上举办 | 云原生生态周报 Vol. 48

限于喜欢 提交于 2020-05-01 18:04:18
作者 | 徐迪、张晓宇、何淋波、宋净超 业界要闻 KubeCon+CloudNativeCon North America 2020 CFP 开始 点击上方链接即可提交演讲,截止日期 6 月 12 日。 KubeCon Euro 2020 改为线上举办 KubeCon Euro 2020 已确定改为线上进行,日期为 8 月 17 号到 20 号。 KubeCon 2020 Shanghai 或开展线上活动 由于疫情影响,原来被取消的 KubeCon 2020 Shanghai 可能以线上方式举行。CNCF 连同其活跃的社区,正在计划在七月底举办为期三天的线上大会。附: 大会举办时间的调查问卷 。 CNCF 公布 Fluentd Journey Report 始于 2011 年 6 月份,2019 年从 CNCF 毕业,目前已经吸引超过 7.4k 个开发 来源: oschina 链接: https://my.oschina.net/u/4408067/blog/4261113

Kubernetes之Controllers三

为君一笑 提交于 2020-04-30 01:52:28
StatefulSets StatefulSet is the workload API object used to manage stateful applications. Note: StatefulSets are stable (GA) in 1.9. Manages the deployment and scaling of a set of Pods , and provides guarantees about the ordering and uniqueness of these Pods. Like a Deployment , a StatefulSet manages Pods that are based on an identical container spec. Unlike a Deployment, a StatefulSet maintains a sticky identity for each of their Pods. These pods are created from the same spec, but are not interchangeable: each has a persistent identifier that it maintains across any rescheduling. A

h5棋牌源码分享《全面提升,阿里云Docker/Kubernetes(K8S) 日志解决方案与选型对比》

[亡魂溺海] 提交于 2020-04-26 08:02:11
背景 众所周知,Docker很火,Docker中Kubernetes(简称k8s)最火。h5棋牌源码(h5.hxforum.com)联系方式 17061863533 企鹅 2952777280相对物理机、VM,Docker提供了更加简单、轻量、高性价比的部署与运维方法;而k8s在Docker之上,更进一步提供了对管理基础设施的抽象,形成了真正意义上的一站式部署与运维方案。 k8s提供了强有力工作调度、水平扩展、健康监测、维护高可用性等能力,同时提供了网络、文件系统的抽象与管理,所以对于已有应用上k8s或者基于k8s部署应用十分便捷。但这里有一部分令开发和运维人员比较头疼–日志采集。 难点分析 基于VM或者物理机部署的应用,日志采集相关技术都比较完善,有比较健全的Logstash、Fluentd、FileBeats等。但在Docker中,尤其在k8s中,日志采集并没有很好的解决方案,主要原因如下: 1.采集目标多:需要采集宿主机日志、容器内日志、容器stdout。针对每种数据源都有对应的采集软件,但缺乏一站式解决方案。 2.弹性伸缩难:k8s是一个分布式的集群,服务、环境的弹性伸缩对于日志采集带来了很大的困难,采集的动态性以及数据完整性是非常大的挑战。 3.运维成本大:现有的方案只能使用多种软件组合采集,各个软件组装起来的系统稳定性难以保障,且缺乏中心化的管理、配置、监控手段

在线公开课 | 监控与日志的黄金法则

↘锁芯ラ 提交于 2020-04-24 01:52:34
课程概要 在当下,云原生的火爆不容小觑。随着虚拟化技术的成熟和分布式框架的普及,在容器技术、可持续交付、编排系统等开源社区的推动下,以及微服务等开发理念的带动下,应用上云已经是不可逆转的趋势,云原生(Cloud Native)的概念也应运而生,更是火得一塌糊涂。Cloud表示应用程序位于云中,而不是传统的数据中心;Native表示应用程序从设计之初即考虑到云的环境,原生为云而设计,在云上以最佳姿势运行,充分利用和发挥云平台的弹性+分布式优势。而作为云原生的基石之一,监控和日志的重要性自是不言而喻。 监控(Monitoring)和日志(Logging),是大型分布式系统中最关键的基础设施之一。因为没有监控,就没办法知晓服务的运行情况,也没办法知道集群中有没有Down机、机器的CPU使用率和负载是否正常、网站的Traffic是否正常,以及服务的出错率是不是在可容忍范围之内。简而言之,监控使得我们可以实时了解网站的运营情况和可用性情况。 监控通常是从整体上了解网站的情况,需要具备实时性,而日志则是详尽地记录着系统运行情况,每一次Service的调用,每一次数据库的访问,都应该写进日志,特别是当系统出现问题时,我们希望日志系统能提供完整的错误堆栈和尽可能完备的上下文,从而为系统维护提供支持。 为了帮助开发者对云原生监控和日志解决方案等概念有个系统的了解和应用,4月1日

10分钟看懂Docker和K8S

自闭症网瘾萝莉.ら 提交于 2020-04-23 14:34:17
本文来源:鲜枣课堂 2010年,几个搞IT的年轻人,在美国旧金山成立了一家名叫“dotCloud”的公司。 这家公司主要提供基于PaaS的云计算技术服务。具体来说,是和LXC有关的容器技术。 LXC,就是Linux容器虚拟技术(Linux container) 后来,dotCloud公司将自己的容器技术进行了简化和标准化,并命名为——Docker。 Docker技术诞生之后,并没有引起行业的关注。而dotCloud公司,作为一家小型创业企业,在激烈的竞争之下,也步履维艰。 正当他们快要坚持不下去的时候,脑子里蹦出了“开源”的想法。 什么是“开源”?开源,就是开放源代码。也就是将原来内部保密的程序源代码开放给所有人,然后让大家一起参与进来,贡献代码和意见。 Open Source,开源 有的软件是一开始就开源的。也有的软件,是混不下去,创造者又不想放弃,所以选择开源。自己养不活,就吃“百家饭”嘛。 2013年3月,dotCloud公司的创始人之一,Docker之父,28岁的Solomon Hykes正式决定,将Docker项目开源。 Solomon Hykes(今年刚从Docker离职) 不开则已,一开惊人。 越来越多的IT工程师发现了Docker的优点,然后蜂拥而至,加入Docker开源社区。 Docker的人气迅速攀升,速度之快,令人瞠目结舌。 开源当月,Docker 0

Docker和k8s的区别与介绍

坚强是说给别人听的谎言 提交于 2020-04-23 12:19:53
本文来源:鲜枣课堂 2010年,几个搞IT的年轻人,在美国旧金山成立了一家名叫“dotCloud”的公司。 这家公司主要提供基于PaaS的云计算技术服务。具体来说,是和LXC有关的容器技术。 LXC,就是Linux容器虚拟技术(Linux container) 后来,dotCloud公司将自己的容器技术进行了简化和标准化,并命名为——Docker。 Docker技术诞生之后,并没有引起行业的关注。而dotCloud公司,作为一家小型创业企业,在激烈的竞争之下,也步履维艰。 正当他们快要坚持不下去的时候,脑子里蹦出了“开源”的想法。 什么是“开源”?开源,就是开放源代码。也就是将原来内部保密的程序源代码开放给所有人,然后让大家一起参与进来,贡献代码和意见。 Open Source,开源 有的软件是一开始就开源的。也有的软件,是混不下去,创造者又不想放弃,所以选择开源。自己养不活,就吃“百家饭”嘛。 2013年3月,dotCloud公司的创始人之一,Docker之父,28岁的Solomon Hykes正式决定,将Docker项目开源。 Solomon Hykes(今年刚从Docker离职) 不开则已,一开惊人。 越来越多的IT工程师发现了Docker的优点,然后蜂拥而至,加入Docker开源社区。 Docker的人气迅速攀升,速度之快,令人瞠目结舌。 开源当月,Docker 0