logagent

时间：2020年10月30日 地点：上海中庚聚龙酒店 场次：大数据&数据中台专场 演讲主题：《万亿级消息队列Kafka在滴滴的实践》 你将收获： 滴滴Kafka高可用建设在架构与引擎上做了哪些针对性优化？ 如何应对Topic资源隔离差、影响集群稳定性等问题？ 如何应对Kafka运维友好性与可观察性不足等问题？ 张亮 滴滴出行 OLAP&搜索平台负责人 滴滴大数据架构部高级技术专家， 2014年加入滴滴，主持构建过任务调度系统、监控系统、日志服务、实时计算、同步中心等平台设计与研发工作 目前负责LogAgent、Kafka 、ElasticSearch、OLAP的引擎建设工作，具有丰富的高并发、高吞吐场景的架构设计与研发经验 DAMS峰会议程 报名方式 ↓ 点这里可了解峰会更多详情 本文分享自微信公众号 - 小白学IT（xiaobaixueIT）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/4610683/blog/4690752

日志采集项目之logagent开发（一) 项目结构 项目分为如下部分： logagent conf: 配置文件 kafka: kafka集成模块 tailf: 日志读取模块 main.go: 程序入口 xlog: 日志打印模块，参考https://blog.51cto.com/13812615/2490744 oconfig: 配置文件解析模块，参考： https://blog.51cto.com/13812615/2492150 logCollect/ ├── logagent │ ├── conf │ │ └── config.ini │ ├── kafka │ │ └── kafka.go │ ├── logs │ │ └── logagent.log │ ├── main.go │ └── tailf │ └── tail.go ├── oconfig │ └── config.go └── xlog ├── console.go ├── file.go ├── level.go ├── log.go ├── log_base.go └── tool.go logagent代码： config/config.ini [kafka] address=192.168.56.11:9092 queue_size=10000 [collect_log_conf] log

1、docker部署后修改数据存放目录，默认存放到/var/lib/docker下面，修改到一个大的空间目录下面。参考我的另外一篇博客：https://www.cnblogs.com/cuishuai/p/9485939.html 2、docker空间占用分析 通常使用docker部署服务，使用一段时间后发现磁盘空间占用的很快，经排查发现占用最高的就是docker，发现一些比较老的image和废弃不用的container的volume没有清理造成的。由于只关注了docker的发布，却忽略了docker清理工作。长此以往容易导致服务器磁盘被塞满，从而部署的docker服务不可用，后果非常严重。所以就需要定期的清理一些没有用的过期资源。 docker提供了一个cli命令可以方便的查看docker具体咋用磁盘情况： #docker system df 可以看到，docker system df 命令给出了images、containers、volumes、build cache占用磁盘的大小。最后一列RECLAIMABLE，表示可回收的空间大小。 使用docker system df -v，可以显示更详细的信息： 知道空间占用情况了，结下来就是做清理工作。 docker提供了docker system prune来清理停掉的container、悬挂的image（没有tag）