apache pulsar参数配置

社会主义新天地 提交于 2020-08-12 15:50:20

BookKeeper
bookiePort bookeeper server监听端口

allowLoopback 是否接受回127.0.0.1地址

listeningInterface 默认网口,比如:eth0

journalDirectory WAL存入目录

ledgerDirectories  帐目快照保存地址,推荐WAL与该目录不同硬盘

ledgerManagerType bookeeper 帐目保存类型

zkLedgersRootPath zookeeper保存的bookeeper数据路径 

ledgerStorageClass 帐目存储类

entryLogFilePreallocationEnabled 是否预分配entry logger

minorCompactionThreshold 当entry logger达到阀值将执行minor compaction,0为禁止

minorCompactionInterval  时间控制minor compaction

majorCompactionThreshold 当entry logger达到阀值将执行major compaction,0为禁止

majorCompactionInterval 时间控制major compaction

compactionMaxOutstandingRequests   没有flush的最大entry数,压缩将entry加入entrylog,并且缓存offset,大的值将占用更多 的内存,通常不需要修改。

compactionRate 压缩读取条目的速率

isThrottleByBytes 压缩时是否节流

compactionRateByEntries 压缩读取条目的速率,Entry计数

compactionRateByBytes   压缩读取条目的速率,Byte计数

journalMaxSizeMB journal文件最大值,单位为M,当达到该值,将产生新文件

journalMaxBackups  最大的旧文件数量,方便特定场景下恢复

journalPreAllocSizeMB  每次预分配置的空间大小

journalWriteBufferSizeKB  journal 读buffer大小

journalRemoveFromPageCache 当flush后是否回收 page cache

journalAdaptiveGroupWrites 是否journal group读,增加吞吐量

journalMaxGroupWaitMSec  最大小的写延迟,以增加吞吐量

journalAlignmentSize journal日志统一大小

journalBufferedWritesThreshold 写buffer大小,增加写效率

journalFlushWhenQueueEmpty  如果queue 是空将flush

numJournalCallbackThreads  处理日志回调线程数

rereplicationEntryBatchSize 可重新复制的最大entry数量

gcWaitTime 执行gc的时间间隔

gcOverreplicatedLedgerWaitTime  overreplicated的gc回收时间间隔,不应太频繁应该会访问zk元数据

flushInterval flush帐目index到disk的间隔,会产大量随时写,将ledger与journal在不同磁盘,将增加效率

bookieDeathWatchInterval 确认bookie 服务停止的最大时间

zkServers zookeeper信息

zkTimeout seession time时间

serverTcpNoDelay  是否使用Nagle算法

openFileLimit ledge 同时打开索引文件的数量,如果超过将swap到磁盘,将会影响性能

pageSize  index缓存节的大小,大的缓存叶可以改善写的性能,如果你有少量的ledge并且包括少量的entry,分配小的pagesize将提高内存利用率

pageLimit 用于缓存的page  数量,如果超过将增加内存与磁盘的交互频率,如果-1,将采用1/3 jvm的大小,在少量的ledge并且包括少量的entry情况下,小的pagelimit将增加效率

readOnlyModeEnabled 在ledger目录全部写满时,bookie将为只读模式,否则server将下线

diskUsageThreshold 磁盘空间用量阀值,如果超出切换为readonly模式

diskCheckInterval 磁盘空间用量检查间隔

auditorPeriodicCheckInterval 审计检查全部ledger,会增加集群负载,不推荐太频繁

auditorPeriodicBookieCheckInterval  审计检查全部bookie时间间隔

numAddWorkerThreads 写请求线程数,0代表直接使用netty处理

numReadWorkerThreads 读请求线程数

maxPendingReadRequestsPerThread  最大peding的读请求,防止请求队列无限增涨

readBufferSizeBytes 读缓存大小

writeBufferSizeBytes写缓存大小

useHostNameAsBookieID 由hostname注册bookie标识,否则使用ip

statsProviderClass

prometheusStatsHttpPort  prometheus端口

dbStorage_writeCacheMaxSizeMb

 

dbStorage_writeCacheMaxSizeMb entry写入entrylog缓存大小,利用堆外内存

dbStorage_readAheadCacheMaxSizeMb  读缓存,预分配,利用堆外内存

dbStorage_readAheadCacheBatchSize 每次分配的读缓存大小

dbStorage_rocksDB_blockCacheSize rocketdb缓存块大小

dbStorage_rocksDB_writeBufferSizeMB
dbStorage_rocksDB_sstSizeInMB
dbStorage_rocksDB_blockSize
dbStorage_rocksDB_bloomFilterBitsPerKey
dbStorage_rocksDB_numLevels
dbStorage_rocksDB_numFilesInLevel0
dbStorage_rocksDB_maxSizeInLevel1MB

 Broker

 

enablePersistentTopics  是否持久化topic

enableNonPersistentTopics 是否非持久化topic

functionsWorkerEnabled  function work server是否开启

zookeeperServers zookeeper信息

configurationStoreServers  存储连接信息(以逗号分隔)

brokerServicePort broker数据端口

brokerServicePortTls  TLS端口

webServicePort http端口

webServicePortTls https端口

webSocketServiceEnabled 开启websocket

bindAddress  hostname/ip地址绑定服务地址,默认0.0.0.0

advertisedAddress 对外服务地址,默认InetAddress.getLocalHost().getHostName()

clusterName 集群标识

brokerDeduplicationEnabled 开启去重,可以在namespace重写

brokerDeduplicationMaxNumberOfProducers  保存去重信息的最大的porducer数量

brokerDeduplicationEntriesInterval  去重最大条目阀值

brokerDeduplicationProducerInactivityTimeoutMinutes  当producer断开,去重信息废除时间

zooKeeperSessionTimeoutMillis zookeeper session timeout时间

brokerShutdownTimeoutMs broker优雅关闭时间

backlogQuotaCheckEnabled  开启broker配额

backlogQuotaCheckIntervalInSeconds  配额检查时间 

backlogQuotaDefaultLimitGB broker配额积累的最大值

allowAutoTopicCreation 开启自动创建topic

brokerDeleteInactiveTopicsEnabled 开启删除不活动的topic

brokerDeleteInactiveTopicsFrequencySeconds 检查不活动topic时间频率

messageExpiryCheckIntervalInMinutes message过期检查频率

brokerServiceCompactionMonitorIntervalInSeconds  minor compaction检查时间

activeConsumerFailoverDelayTimeMillis 确定延时时间执行consumer failover切换

Enable check for minimum allowed client library version  是否最低客户端版本检查

clientLibraryVersionCheckAllowUnversioned 是否接受无版本客户端 

statusFilePath 用于文件路径的rotation status检查,在服务发现与健康检查时使用

preferLaterVersions 是否优先使用最新版本

tlsEnabled  开启TLS

tlsCertificateFilePath 证书路径

tlsKeyFilePath 私钥路径

tlsTrustCertsFilePath 可信证书路径

tlsAllowInsecureConnection 接受客户端 不可信证书

tlsProtocols 指定TSL协议,比如:TLS1.0

tlsCiphers 指定加密方法,比如:TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256

tokenSecretKey secret key授权验证token

tokenPublicKey 配置公钥授权验证token

tokenPublicAlg 配置验证token算法

tokenAuthClaim 用于哪个声明完成验证,principal/role,默认sub

maxUnackedMessagesPerConsumer  停止发送数据到consumer当未应答数据达到该值时,0禁止

maxUnackedMessagesPerSubscription  停止发送数据到subscription当未所有subscription未应答数据达到该值

subscriptionRedeliveryTrackerEnabled  开启重新交付跟踪

maxConcurrentLookupRequest 最大的并发lookup request,lookup request查找topic所在的server

maxConcurrentTopicLoadRequest  最大并发topic loading request

authenticationEnabled 开启认证

authenticationProviders 认证实现类

authorizationEnabled 开启授权

superUserRoles  开启超级用户

brokerClientAuthenticationPlugin  broker认证配置,用于集群间认证

brokerClientAuthenticationParameters  认证参数

athenzDomainNames Athen认证配置

bookkeeperClientAuthenticationPlugin bookeeper认证plugin

bookkeeperClientAuthenticationParametersName bookeeper认证plugin 参数

bookkeeperClientTimeoutInSeconds bookeeper操作timeout

bookkeeperClientSpeculativeReadTimeoutInMillis bookeeper读操作超时推测,如果在timeout内没有完成,主动重新执行

bookkeeperClientHealthCheckEnabled 开启bookie健康检查 

bookkeeperClientHealthCheckIntervalSeconds bookie健康检查频率

bookkeeperClientHealthCheckErrorThresholdPerInterval 健康检查错误阀值

bookkeeperClientHealthCheckQuarantineTimeInSeconds 再指定时间内失败次数认定为不健康

 

pulsar

ensemble size 即broker size

Quorum write size 即 replica size

Quorum ack size 即 复制应答size

managedLedgerDefaultEnsembleSize  默认ledger保存的ensemble size
managedLedgerDefaultWriteQuorum   默认的 QW 数量  
managedLedgerDefaultAckQuorum      默认的QA数量 
managedLedgerCacheSizeMB                  broker上所以有ledger共享缓存,堆外内存
managedLedgerCacheEvictionWatermark    触发清除缓存的阀值
managedLedgerDefaultMarkDeleteRateLimit  消费者确认消费每秒产生的消息速率
managedLedgerMaxEntriesPerLedger   ledger最大的entry log数量,达到该值将产生新ledger
managedLedgerMinLedgerRolloverTimeMinutes 最小产生新ledger时间
managedLedgerMaxLedgerRolloverTimeMinutes  最大产生新ledger时间,达到该值将强制产生
managedLedgerCursorMaxEntriesPerLedger  cusor ledger保存没个消费者的游标,最大产生新ledger的entry数量
managedLedgerCursorRolloverTimeInSeconds  最大产生新ledger的时间
autoSkipNonRecoverableData  当ledger不能恢复,是否跳过坏数据,保存集群可用性。
loadBalancerEnabled  是否开启load balancer

managedLedgerMaxUnackedRangesToPersist  最大应答holes,由于各种不确定因素会产极少的应答hole,该参数指定最大的hole数量,利用压缩方法持久化,防止回放。
loadBalancerPlacementStrategy  loader balance策略
loadBalancerReportUpdateThresholdPercentage  load balance 信息更新阀值
loadBalancerReportUpdateMaxIntervalMinutes  load balance 信息更新时间间隔
loadBalancerHostUsageCheckIntervalMinutes load balance 信息收集频繁
loadBalancerSheddingIntervalMinutes   检查broker负载时间
loadBalancerSheddingGracePeriodMinutes  防止某些topic频繁转移到其它broker
loadBalancerBrokerMaxTopics   每个broker最大的topic数量
loadBalancerBrokerUnderloadedThresholdPercentage   broker负载不足阀值
loadBalancerBrokerOverloadedThresholdPercentage  broker 过载阀值
loadBalancerResourceQuotaUpdateIntervalMinutes 理新资源配额时间间隔
loadBalancerBrokerComfortLoadLevelPercentage   broker负载正常阀值
loadBalancerAutoBundleSplitEnabled   是否开启namespace级别的负载拆分
loadBalancerNamespaceBundleMaxTopics  一个namspace包括的最大topic数量
loadBalancerNamespaceBundleMaxSessions  namespace内producer+ consumer的session最大值,超过将拆分
loadBalancerNamespaceBundleMaxMsgRate   namespace内producer+ consumer的数据比率最大值,超过将拆分
loadBalancerNamespaceBundleMaxBandwidthMbytes  namespace内producer+ consumer的带宽最大值,超过将拆分
loadBalancerNamespaceMaximumBundles  namespace内bundle的最大数量,bundle为一个虚拟的topic group,拥有相同的namespace
replicationMetricsEnabled  是否开启metric复制
replicationConnectionsPerBroker  最大数据的复制连接,用于远程集群复制
replicationProducerQueueSize  replication producer队列大小,用于Geo replicator
defaultRetentionTimeInMinutes  默认数据保留时间
defaultRetentionSizeInMB  默认的保留大小,超过该值将清除旧的topic数据
keepAliveIntervalSeconds  检查活动连接时间间隔
brokerServicePurgeInactiveFrequencyInSeconds 检查不活动topic时间间隔

managedLedgerOffloadDriver  分层存储的类型,比如:S3

managedLedgerOffloadMaxThreads 用于保存冷数据的线程数

s3ManagedLedgerOffloadRegion 用于aws region保存冷数据

s3ManagedLedgerOffloadBucket  用于aws bucket保存冷数据

s3ManagedLedgerOffloadServiceEndpoint 用于aws 连接地址,用于测试

s3ManagedLedgerOffloadMaxBlockSizeInBytes aws 最大的block大小

s3ManagedLedgerOffloadReadBufferSizeInBytes aws 读缓存大小

s3ManagedLedgerOffloadRole 分配aws role

s3ManagedLedgerOffloadRoleSessionName 设置aws  role的session name

Client
pulsar-client工具

webServiceUrl cluster web url地址

brokerServiceUrl pulsar协议url

authPlugin 认证plugin

authParams 认证parameter,以逗号分隔

useTls 是否开启TLS

Service discovery
zookeeperServers zk信息

configurationStoreServers 存储连接信息

zookeeperSessionTimeoutMs zk session timeout

servicePort 服务binary-proto 请求

servicePortTls 服务 binary-proto-tls请求

webServicePort  服务发现http地址

webServicePortTls https端口

bindOnLocalhost  是否绑定本地地址而不是hostname

authenticationEnabled 是否开启认证

authenticationProviders 认证方法 

authorizationEnabled 是否开启授权

superUserRoles  是否开启超级用户

tlsEnabled 是否开启tls

tlsCertificateFilePath 证书路径

tlsKeyFilePath 私钥文件路径 

Pulsar proxy
maxConcurrentInboundConnections  最大并发请求连接数,超过将拒绝

maxConcurrentLookupRequests   最大的响应连接数,超过将报错
————————————————

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!