日志收集

最开始架构定的是采用elk来做日志的收集，但是测试一段时间后，由于logstash的性能很差，对cpu和内存消耗很大，放弃了logstash。为什么没有直接使用flume的agent来收集日志，这主要是根据实际的需求，众所周知，flume对目录的收集无法针对文件的动态变化，在传完文件之后，将会修改文件的后缀，变为.COMPLETED，无论是收集应用日志还是系统日志，我们都不希望改变原有的日志文件，最终收集日志使用了用go开发的更轻量级的logstash_forward，logstash_forward功能比较单一，目前只能用来收集文件。 1.安装logstash-forwarder。 https://github.com/elasticsearch/logstash-forwarder 2.flume安装很简单，解压包即可。 3.安装elasticsearch，测试只安装es单节点 下载 https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.3.2.tar.gz tar zxf elasticsearch-1.3.2.tar.gz cd elasticsearch-1.3.2/ cd config 可以看到elasticsearch.yml，logging.yml两个文件

前言 上一篇 基于docker部署的微服务架构（五）： docker环境下的zookeeper和kafka部署 中，已经成功部署了 kafka 环境，现在我们要改造之前的项目，使用 log4j2 的 kafka appender 把日志统一输出到 kafka 中。 修改日志系统 spring boot 默认使用 logback 作为日志工具，这里需要作出修改。 以 service-registry-demo 为例，其他项目做相同的修改。 修改 pom.xml 文件，去掉默认的日志依赖，并引入 log4j2 ： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> <exclusions> <exclusion> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-logging</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring

kafka简单介绍 Kafka 是 LinkedIn 开源的一种高吞吐量的分布式发布订阅消息系统，kafka的诞生就是为了处理海量日志数据，所以kafka处理消息的效率非常高，即使是非常普通的硬件也可以支持每秒数百万的消息。 kafka 天然支持集群负载均衡，使用 zookeeper 进行分布式协调管理。不支持事务，有一定概率丢失消息。 kafka 的特点，决定了使用场景：日志中间件。 下载docker镜像 zookeeker: docker pull zookeeper:latest kafka: docker pull wurstmeister/kafka:latest 创建并启动容器 先启动zookeeper: docker run -d --name zookeeper --publish 2181:2181 \ --volume /etc/localtime:/etc/localtime \ zookeeper:latest zookeeper启动完成后再启动kafka: docker run -d --name kafka --publish 9092:9092 \ --link zookeeper \ --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \ --env KAFKA_ADVERTISED_HOST_NAME