kafka命令

首先搭建zookeeper集群: 拷贝zoo_sample.cfg为zoo.cfg(启动时会默认调用这个文件) zoo.cfg # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/var/zoodata # the port at which the clients will connect clientPort=2181 # the maximum number of client connections. # increase this if you need to handle more clients

一、下载kafka_2.12-2.4.0.tgz并解压至/home/kafka_2.12-2.4.0 二、配置kafka 2.1 创建kafka日志文件夹：/home/kafka_2.12-2.4.0/logs 2.2 创建zookeeper数据目录：/tmp/zookeeper 2.3 配置/home/kafka_2.12-2.4.0/config/server.properties 内容如下（SSL证书在下面介绍）： ssl.keystore.location=/home/ca/server/server.keystore.jks ssl.keystore.password=mima123 ssl.key.password=mima123 ssl.truststore.location=/home/ca/trust/server.truststore.jks ssl.truststore.password=mima123 ssl.client.auth=required ssl.enabled.protocols=TLSv1.2,TLSv1.1,TLSv1 ssl.keystore.type=JKS ssl.truststore.type=JKS ssl.endpoint.identification.algorithm= #security.inter.broker

对于大数据集群来说，监控功能是非常必要的，通过日志判断故障低效，我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。 一、Kafka Monitoring 首先介绍kafka的监控原理，第三方工具也是通过这些来进行监控的，我们也可以自己去是实现监控，官网关于监控的文档地址如下： http://kafka.apache.org/documentation/#monitoring ]( http://kafka.apache.org/documentation/#monitoring ) kafka使用Yammer Metrics进行监控，Yammer Metrics是一个java的监控库。 kafka默认有很多的监控指标，默认都使用JMX接口远程访问，具体方法是在启动broker和clients之前设置JMX_PORT： JMX_PORT=9997 bin/kafka-server-start.sh config/server.properties Kafka的每个监控指标都是以JMX MBEAN的形式定义的，MBEAN是一个被管理的资源实例。 我们可以使用Jconsole （Java Monitoring and Management Console），一种基于JMX的可视化监视、管理工具。 来可视化监控的结果： 图2

依次在各节点上启动: kafkabin/kafka-server-start.sh config/server.properties 查看当前服务器中的所有topic bin/kafka-topics.sh --list --zookeeper hadoop01:2181 创建topic bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 3 --topic CustomerContacts 删除topic bin/kafka-topics.sh --delete --zookeeper hadoop01:2181 --topic CustomerContacts 需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。 通过shell命令发送消息 sh bin/kafka-console-producer.sh --broker-list kafka01:9092 --topic test 通过shell消费消息 bin/kafka-console-consumer.sh --zookeeper hadoop01:2181 --from-beginning --topic test

　　Kafka生产的数据是由Flume的Sink提供的，通过Flume将Agent的日志收集分发到 Kafka。 　　本篇用到了前面几篇随笔的知识，请做参考： 　　（1） 安装zookeeper集群 　　（2） kafka单机多Broker（伪分布式）的基本配置 　　（3） java程序连接kafka示例 　　（4） Flume安装及其启动 　 　　1、准备工作 　　（1）启动zookeeper集群。分别在192.168.7.151、192.168.7.152、192.168.7.153在执行以下命令： [root@localhost ~]# zkServer.sh start 　　（2）启动192.168.7.151上面的kafka。执行以下命令 [root@localhost kafka_2.9.2-0.8.1.1]# bin/kafka-server-start.sh config/server.properties & [root@localhost kafka_2.9.2-0.8.1.1]# bin/kafka-server-start.sh config/server1.properties & 　　（3）启动kafka的消费者端，如下，输出的数据是之前的 　　 2、创建flume连接kafka的配置文件 [root@localhost myagent]# vim

Storm 上游数据源之 Kakfa PS:什么是kafka，为什么要学习它？ http://blog.csdn.net/zcf_0923/article/details/70859535http://blog.csdn.net/SJF0115/article/details/78480433PS ：kafka他不仅仅只是一个消息队列PS：发布与订阅系统一般会有一个broker，也就是发布消息的中心点PS:kafka的数据单元被称为消息， 可以理解为数据库的一条记录PS: def 批次 5.3 Kafka 集群部署 PS:启动kafka时，要先启动zookeeper 5.3.1 、下载安装包 http://kafka.apache.org/downloads.html 在 linux 中使用 wget 命令下载安装包 wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz 5.3.2 、解压安装包 tar -zxvf kafka_2.11-0.8.2.2.tgz -C /apps/ cd /export/servers/ ln -s kafka_2.11-0.8.2.2 kafka 5.3.3 、修改配置文件 cp /export/servers/kafka/config/server

第一步 先去官网下载 kafka_2.9.2-0.8.1.1.tgz 并解压再进入到安装文件夹（也能够自己配置路径，方法跟配置java、hadoop等路径是一样的）. > tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2.9.2-0.8.1.1 第二步 zeekeeper集群搭建（用的是kafka自带的zeekeeper，一共准备了三台机器) 1、关闭各台机器的防火墙（一定要切记。我搭建的时候以为能ping通就ok了，就没关心防火墙的问题了。最后白白浪费了一天的时间） 命令 /ect/init.d/iptables stop 2、进入到打开/ect下的hosts文件 改动为 127.0.0.1 localhost 10.61.5.66 host1 10.61.5.67 host2 10.61.5.68 host3 （ip和机器名依据个人实际情况改动） 3、改动zeekeeper 配置文件 进入到kafka安装文件夹下的config文件。打开zookeeper.properties 改动dataDir={kafka安装文件夹}/zookeeper/logs/ 凝视掉maxClientCnxns=0 在文件末尾加入例如以下语句 tickTime=2000 initLimit=5 syncLimit=2 #host1、2、3为主机名

环境准备 1.服务器概览 ip 操作系统 说明 安装内容 192.168.0.113 centos 7 master节点 jdk1.8, kafka_2.11-0.10.1.1, zookeeper-3.4.8.tar 192.168.0.114 centos 7 master节点 jdk1.8, kafka_2.11-0.10.1.1, zookeeper-3.4.8.tar 192.168.0.115 centos 7 master节点 jdk1.8, kafka_2.11-0.10.1.1, zookeeper-3.4.8.tar 2.服务器环境安装 jdk1.8 安装 参考：centos7 安装jdk 1.8 注意：三台服务均执行 #添加host 192.168.0.112 master.kafka 192.168.0.114 worker1.kafka 192.168.0.115 worker2.kafka #执行以下命令关闭防火墙 [root@node1 ~]systemctl stop firewalld && systemctl disable firewalld [root@node1 ~]setenforce 0 #将SELINUX的值改成disabled [root@node1 ~]vim /etc/selinux/config SELINUX

介绍 ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢？ 我们认为流媒体平台具有三个关键功能： 它可以让你发布和订阅记录流。在这方面，它类似于消​​息队列或企业消息传递系统。它允许您以容错方式存储记录流。它可以让您在发生记录时处理记录流。什么是卡夫卡好？ 它被用于两大类的应用程序： 构建可在系统或应用程序之间可靠获取数据的实时流数据管道构建实时流应用程序，可以转换或响应数据流要了解卡夫卡如何做这些事情，让我们深入探索卡夫卡的能力。 首先几个概念： Kafka作为一个或多个服务器上的集群运行。Kafka集群以称为主题的类别存储记录流。每个记录由一个键，一个值和一个时间戳组成。卡夫卡有四个核心API： 该制片API允许应用程序发布的记录流至一个或多个卡夫卡的话题。该消费者API允许应用程序订阅一个或多个主题，并处理所产生的对他们记录的数据流。所述流API允许应用程序充当流处理器，从一个或多个主题消耗的输入流，并产生一个输出流至一个或多个输出的主题，有效地变换所述输入流，以输出流。该连接器API允许构建和运行卡夫卡主题连接到现有的应用程序或数据系统中重用生产者或消费者。例如，连接到关系数据库的连接器可能会捕获对表的每个更改。 在Kafka中，客户端和服务器之间的通信是通过一个简单的，高性能的，与语言无关的TCP协议完成的。这个协议是版本化的，并保持与旧版本的向后兼容性

broker.id =0 #每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况 log.dirs=/data/kafka-logs #kafka数据的存放地址，多个地址的话用逗号分割/data/kafka-logs-1，/data/kafka-logs-2 port =9092 #broker server服务端口 message.max.bytes =6525000 #表示消息体的最大大小，单位是字节 num.network.threads =4 #broker处理消息的最大线程数，一般情况下不需要去修改 num.io.threads =8 #broker处理磁盘IO的线程数，数值应该大于你的硬盘数 background.threads =4 #一些后台任务处理的线程数，例如过期消息文件的删除等，一般情况下不需要去做修改 queued.max.requests =500 #等待IO线程处理的请求队列最大数，若是等待IO的请求超过这个数值，那么会停止接受外部消息，应该是一种自我保护机制。 host.name #broker的主机地址，若是设置了，那么会绑定到这个地址上，若是没有，会绑定到所有的接口上，并将其中之一发送到ZK，一般不设置 socket.send.buffer.bytes