Logstash+ElasticSearch+Kibana处理nginx访问日志(转)
ELK 似乎是当前最为流行的日志收集-存储-分析的全套解决方案. 去年年初, 公司里已经在用, 当时自己还 山寨 了一个统计系统(postgresql-echarts, 日志无结构化, json形式存储到postgresql, 构建统一前端配置生成, 调用统一查询接口, 具体细节 ), 已经过了一年有余. 一年刚好, 发生了很多事, 那套系统不知现在如何了. 在新的公司, 一切都得从0到1, 近期开始关注日志/数据上报/统计, 以及后续的数据挖掘等. 搭建, 测试并上线了一套简单的系统, 初期将所有服务器的nginx日志, 以及搜索日志进行处理. 下面主要介绍对nginx日志进行处理的过程, 不是针对 elk 的介绍, 所有涉及ip的地方都改成 127.0.0.1 了, 根据自己环境进行修改 1. nginx日志 -> logstash shipper -> redis 在 centos 使用 yum 安装 nginx 后, 默认 /etc/nginx/nginx.conf 中的日志格式定义为: log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x