librdkafka

kafka的认证方式一般有如下3种： 1. SASL/GSSAPI 从版本0.9.0.0开始支持 2. SASL/PLAIN 从版本0.10.0.0开始支持 3. SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-512 从版本0.10.2.0开始支持 其中第一种SASL/GSSAPI的认证就是kerberos认证，对于java来说有原生的支持，但是对于python来说配置稍微麻烦一些，下面说一下具体的配置过程，confluent kafka模块底层依赖于librdkafka，这是使用c编写的高性能的kafka客户端库，有好多语言的库都是依赖于这个，所以GSSAPI接口的开启也需要在librdkafka编译的时候支持 librdkafka源码：https://github.com/edenhill/librdkafka 编译之前需要先安装必要的开发包，否则相关的接口编译不进去 首先是openssl库，使用yum安装为： yum -y install openssl openssl-devel ，编译openssl只能支持默认的PLAIN还有SCRAM这两种机制，无法支持GSSAPI的机制，还需要编译libsasl2依赖，yum安装命令如下： yum install cyrus-sasl-gssapi cyrus-sasl-devel 在ubuntu下使用命令

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/lijinqi1987/article/details/76691170 librdkafka在c语言的基础上封装了一层c++的API，可以实现kafka的消费操作，基本操作步骤如下 1、创建kafka 配置 RdKafka::Conf *conf = nullptr; conf = RdKafka::Conf::create(RdKafka::Conf::CONF_GLOBAL); 2、设置kafka各项参数 /*设置broker list*/ conf->set("bootstrap.servers", brokers_, errstr); /*设置consumer group*/ conf->set("group.id", groupid_, errstr); /*每次从单个分区中拉取消息的最大尺寸*/ conf->set("max.partition.fetch.bytes", strfetch_num, errstr); 3、创建kafka topic配置 RdKafka::Conf *tconf = nullptr; tconf = RdKafka::Conf::create(RdKafka::Conf: