kafka参数配置详解.pdf

kafka参数配置详解#############################System##############################唯一标识ID在集群中的，要求是正数。broker.id=0#9服09务2端口，默认port=9092#监听地址，不设为所有地址host.name=debugo01#处理网络请求的最大线程数num.network.threads=2#I/O处理磁盘的线程数num.io.threads=8#一些后台线程数background.threads=4#IO等待线程处理的请求队列最大数queued.max.requests=500#socketSO_SNDBUF的发送缓冲区（）socket.send.buffer.bytes=1048576#socket(SO_RCVBUF)的接收缓冲区socket.receive.buffer.bytes=1048576#socketmessag请e.求m的ax最.b大yt字e节s数。为了防止内存溢出，必然要小于socket.request.max.bytes=104857600#############################Topic##############################topicpartition每s个egment的f分il区e个数，更多的会产生更多的num.partitions=2#topicfalse是否t允op许ic自动创建，若是，就需要通过命令创建auto.create.topics.enable=true#topicreplication一个broker，默认分区的个数，不能大于集群中的个数。default.replication.factor=1#消息体的最大大小，单位是字节message.max.bytes=1000000#############################ZooKeeper##############################Zookeeperquorum设置。如果有多个使用逗号分割zookeeper.connect=debugo01:2181,debugo02,debugo03#zk连接的超时时间zookeeper.connection.timeout.ms=1000000#ZooKeeperleaderfollower集群中和之间的同步实际zookeeper.sync.time.ms=2000#############################Log##############################日志存放目录，多个目录使用逗号分割log.dirs=/var/log/kafka#flush10000当达到下面的消息数量时，会将数据到日志文件中。默认#log.flush.interval.messages=10000#(ms)flushinterval.msinterval.messages当达到下面的时间fl时us，h执行一3次0强00制ms的操作。和无论哪个达到，都会。默认#log.flush.interval.ms=1000#flush检查是否需要将日志的时间间隔log.flush.scheduler.interval.ms=3000#delete|compact日志清理策略（）log.cleanup.policy=delete#(hours|minutes)7168policybytes日志mi保n存ut时es间，默认为天（小时）。超过这个时间会根据处理数据。和无论哪个先达到都会触发。log.retention.hours=168#policy日志数据存储的最大字节数。超过这个时间会根据处理数据。#log.retention.bytes=1073741824#segmentsegment-1控制日志文件的大小，超出该大小则追加到一个新的日志文件中（表示没有限制）log.segment.bytes=536870912#segment当达到下面时间，会强制新建一个log.roll.hours=24*7#log.retention.hourslog.retention.bytes日志片段文件的检查周期，查看它们是否达到了删除策略的设置（或）log.retention.check.interval.ms=60000#是否开启压缩log.cleaner.enable=false#对于压缩的日志保留的最长时间log.cleaner.delete.retention.ms=1day#segment对于日志的索引文件大小限制log.index.size.max.bytes=10*1024*1024#y索引计算的一个缓冲区，一般不需要设置。log.index.inte