filebeat 采集文件报错:dropping too large message of size

拟墨画扇 提交于 2020-01-02 16:41:36

背景公司使用的ELK进行日志采集、聚合

业务机器采用filebeat 进行的日志采集。

会有概率出现 ropping too large message of size 1171026 

具体原因就是kafka  对每一条消息的大小进行了限制。

默认是1000000 字节,我们从错误中可以看出,当前字节大于这个值,需要做进一步的调整

首先从kafka 配置侧

设置

message.max.bytes 默认 1000000,这里可以调成10000000(10MB)

replica.fetch.max.bytes 默认1MB ,这里最少设置成一致 10MB

同时filebeat 也需要进行设置

output.kafka:

     max_message_bytes: 10000000

 

响应的重启kafka和filebeat使配置生效,这样就可以找到那条万恶(为什么万恶?因为会影响kafka 的性能)的大大大大日志。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!