kafka命令

kafka启动 bin/kafka-server-start.sh -daemon config/server.properties 创建topic bin/kafka-topics.sh -zookeeper localhost:2181 --create --partitions 1 --replication-factor 1 --topic test --partitions 指定分区数， --replication-factor 表示副本数 查看topic列表 bin/kafka-topics.sh --list --zookeeper localhost:2181 bin/kafka-topics.sh --list --bootstrap-server localhost:9092 -- 查看集群描述 bin/kafka-topics.sh --describe --zookeeper localhost:2181 删除topic ./bin/kafka-topics --delete --zookeeper localhost:2181 --topic test 生产消息 bin/kafka-producer-perf-test.sh --topic test --throughput -1 --record-size 10 --num-records 500000

docker-mysql 启动命令 docker run --name mysql -v $PWD/conf:/etc/mysql/conf.d -v $PWD/logs:/logs -v $PWD/data:/var/lib/mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=abc.123456 -e MYSQL_DATABASE=meky -e TZ=Asia/Shanghai -d mysql:5.6 --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci --default-time_zone='+8:00' docker-rabbitmq 启动命令 docker run -d --name rabbitmq3.7.7 -p 5672:5672 -p 15672:15672 -v `pwd`/data:/var/lib/rabbitmq --hostname myRabbit -e RABBITMQ_DEFAULT_VHOST=my_vhost -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=admin rabbitmq:3.7.7-management docker-kafka 启动命令

一、背景介绍 本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。 二、大数据介绍 大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。 针对以上主要的4个特征我们需要考虑以下问题： 数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。 数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文件存储系统。 由于数据增长速度快，数据存储就必须可以水平扩展。 数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？ 对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎； 普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架； 但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn

kafka官方文档 https://kafka.apache.org/documentation.html#quickstart kafka 安装文档 https://www.jianshu.com/p/c74e0ec577b0 相关命令： kafka 启动：kafka官方文档 https://kafka.apache.org/documentation.html#quickstart kafka 安装文档 https://www.jianshu.com/p/c74e0ec577b0 主题相关命令： kafka 启动： kafka-server-start.sh ./config/server.properties 1>/dev/null 2>&1 & kafka 停止： kill pid 创建topic replication 取决于可用分区数 kafka-topics.sh --create --zookeeper 10.202.13.196:2181 --replication-factor 1 --partitions 1 --topic cjw-test 删除topic kafka-topics.sh --delete --zookeeper 10.202.13.196:2181 --topic cjw-test 获取创建分区相关参数 kafka-topics.sh -

基础架构 kafka Brokers（代理人）说明: 可以把这个看成是kafka的服务器，从宏观逻辑上可以看成是生产者把消息push到topic的partition上，并通知brokers，之后消费者订阅（pull）消息，触发broker，broker记录消费者（要消费的主题等相关信息）。 Consumer Group 说明： 可以把整个Consumer Group看做是一个Consumer集群；在kafka通过下面消费命令去启动一个消费者会默认随机分配到一个group中，可通过下方的命令查看生成group；另外在kafka的消费中有个规则： 同一个group中只能有一个consumer消费partition，但同一个partition可以被不同group中的consumer消费；所以在一般场景下需要指定你需要消费的group（当然需要根据具体场景来定） 过程 生产者定期向主题发送消息。 Kafka代理存储为该特定主题配置的分区中的所有消息。 它确保消息在分区之间平等共享。 如果生产者发送两个消息并且有两个分区，Kafka将在第一分区中存储一个消息，在第二分区中存储第二消息。 消费者订阅特定主题。 一旦消费者订阅主题，Kafka将向消费者提供主题的当前偏移，并且还将偏移保存在Zookeeper系综中。 消费者将定期请求Kafka(如100 Ms)新消息。

环境： JDK1.8 Kafka2.11 Centos7 zookeeper安装可以参考我另一篇博客 Kafka教程——Zookeeper安装 下载、安装Kafka wget http://mirror.bit.edu.cn/apache/kafka/2.2.1/kafka_2.11-2.2.1.tgz tar zxvf kafka_2.11-2.2.1.tgz mv kafka_2.11-2.2.1 kafka cd kafka 配置Kafka Broker的server.properties文件说明 broker.id=0 #当前机器在集群中的唯一标识，和zookeeper的myid性质一样 listeners=PLAINTEXT://192.168.40.129:9092 #服务端监听端口，如果不是集群不要打开！！！ advertised.listeners=PLAINTEXT://your.host.name:9092 #broker发布给生产者消费者的监听host，如果不配置，默认使用listeners配置的信息 port=9092 #当前kafka对外提供服务的端口默认是9092 num.network.threads=3 #网络处理的线程数，一般不变 num.io.threads=8 #I/O处理线程数，一般比磁盘数大 log.dirs=/usr/local

#一、Kafka简介# Kafka是LinkedIn使用Scala开发的一个分布式消息中间件，它以水平扩展能力和高吞吐率著称，被广泛用于日志处理、ETL等应用场景。Kafka具有以下主要特点： **消息的发布、订阅均具有高吞吐量：**据统计数字表明，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。 **消息可持久化：**消息可持久化到磁盘并且通过Replication机制防止数据丢失。 **分布式系统，可水平扩展：**所有的生产者(Producer)、消费者(Consumer)、消息中间存储(Broker Server)都可实现多实例分布式部署，且在不停机情况下实现水平扩展。 **高可靠性：**消息被处理的状态由消费者同步到Zookeeper而非Broker Server中，当Broker Server失效时，通过副本切换机制选择一个新的Broker Server，消费者在从Zookeeper中读取之前消费消息的位置，不会引起消息丢失。 支持Online和Offline的场景。 随着Kafka开源后被业界成功且广泛的使用，LinkedIn开发Kafka的核心技术人员Jay Kreps离开LinkedIn成立了一个新公司Confluent，打造了一个基于Kafka且拥有更为丰富的产品线，意图构建一个基于Kafka的生态系统，与Kafka相比

查看system ctl 方式配置 https://www.jianshu.com/p/7fd8b6ea336e systemctl list-unit-files --type=service|grep kafka kafka systemctl 启动方式命令 systemctl start kafka.service systemctl stop kafka.service systemctl start zookeeper.service systemctl stop zookeeper.service 操作步骤 1、修改KafkaStart.sh、zkStart.sh 、zkStop.sh、zkStart.sh,将相对路径改为绝对路径。 2、修改kafkaStart.sh。去掉JMXPORT属性，放到Kafka-Server-Start.sh 3、去掉KafkaStart.sh中的kafkamanager启动命令，单独启动。 4、配置开机启动 注：KafkaStart.sh、zkStart.sh 、zkStop.sh、zkStart.sh 为自己编写的快速启动脚本，主要是将原生命令做了次封装。 systemctl enable zookeeper systemctl enable kafka ● zookeeper.service - zookeeper Loaded:

[b]spring kafka 配置详解[/b] 使用spring-integration-kafka发送消息 1.Outbound Channel Adapter用来发送消息到Kafka。 2.消息从Spring Integration Channel中发出,一旦配置好这个Channel，就可以利用这个Channel往Kafka发消息。(MessageChannel类)。 1.int:channel是配置Spring Integration Channel, 此channel基于queue。 2.int-kafka:outbound-channel-adapter是outbound-channel-adapter对象， 内部使用一个线程池处理消息。关键是kafka-producer-context-ref。 3.int-kafka:producer-context配置producer列表，要处理的topic，这些Producer最终要转换成Kafka的Producer。 4.task:executor任务队列的配置： [b]BROKER 的全局配置[/b] ------------------------------------------- 系统 相关 ------------------------------------------- #

spring-cloud-starter-stream-kafka 2.X的配置很少有被讲到，但这又是springcloud架构中很重要的一块，这里做一下介绍使用，抛砖引玉。 关于新的配置项可以查询m2文件夹下的路劲： .m2\repository\org\springframework\boot\spring-boot-autoconfigure\2.1.3.RELEASE\spring-boot-autoconfigure-2.1.3.RELEASE.jar!\META-INF\spring-configuration-metadata.json 该文件有全面的spring cloud 2配置 项目中的yml配置简单点只需要 spring: application: name: spring-producer kafka: bootstrap-servers: zhy.cauchy8389.com:9092 可以见一个service 用作sender public interface SendService { @Output("myInput") SubscribableChannel sendOrder(); } 然后在controller里面就可以这么使用 @Autowired SendService sendService; @RequestMapping(value