一、日常问题处理

kafka命令
  1. ##、启动kafka服务：
  2. ./kafka-server-start.sh -daemon config/server.properties
  4. ##、创建topic
  5. ./kafka-topics.sh --create --topic test-topic --partitions 2 --replication-factor 3 --zookeeper 192.168.103.46:2181
  7. ##、 删除Topic
  8. ./kafka-topics.sh --delete --topic test-topic  --zookeeper 192.168.103.46:2181
  9. ./kafka-topics.sh --delete --topic pingtai 30.4.98.53:2181,30.4.98.54:2181,30.4.98.55:2181 
  11. ##、查看topic列表
  12. ./kafka-topics.sh --list --zookeeper 127.0.0.1:2181
  14. ##、查看consumer组内消费的offset  
  15. ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1
  17. ##、kafka生产者客户端命令 （控制台发送消息）
  18. ./kafka-console-producer.sh --broker-list localhost:9092 --topic bi-nginx-log 
  20. ##、kafka消费者客户端命令 
  21. ./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1 
  23. ##、从头开始消费test的消息
  24. ./kafka-console-consumer.sh --bootstrap-server 30.4.66.23:9092,30.4.66.24:9092 --topic test --from-beginning
  26. ##、kafka从多少时间从新消费
  27. ./bin/kafka-consumer-groups.sh --bootstrap-server broker1:9092,broker2:9092 --group logstash_nginx --reset-offsets -topic nginxlog --to-datetime 2020-10-27T16:00:00.000 --execute
  29. ##、查看当前kafka的正在消费的组信息
  30. ./kafka-consumer-groups.sh --bootstrap-server 30.4.66.23:9092,30.4.66.24:9092 --list
  32. ##、查看当前kafka的消费组详细信息
  33. ./kafka-consumer-groups.sh --bootstrap-server 30.4.66.23:9092,30.4.66.24:9092,30.4.89.62:9092 --describe --group logstash2
  35. ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group logstash --topic elis-smp-ubas-new
  37. ##、查看kafka的topic当前的offset值
  38. ./kafka-run-class.sh kafka.tools.GetOffsetShell --topic elis-smp-ubas-new  --time -1 --broker-list 30.4.66.23:9092,30.4.66.24:9092,30.4.89.62:9092 --partitions 0
  40. 注： time为-1时表示最大值，time为-2时表示最小值
  42. ##显示topic详细信息
  43. ./kafka-topics.sh --describe --topic jumi_partner.partner --zookeeper 10.5.3.7:12181
  45. #重置topic消费者的offsets
  46. ./bin/kafka-consumer-groups.sh --bootstrap-server broker1:9092,broker2:9092 --group logstash_nginx --reset-offsets -topic nginxlog --to-datetime 2020-10-27T16:00:00.000 --execute
  48. ##查看当前kafka的正在消费的组信息
  49. ./kafka-consumer-groups.sh --bootstrap-server 172.22.8.132:9092 --list
  51. ##查看当前kafka的消费组详细信息
  52. ./kafka-consumer-groups.sh --bootstrap-server 30.4.98.52:9092,30.4.98.51:9092,30.4.98.50:9092,30.4.98.49:9092,30.4.98.44:9092,30.4.98.43:9092,30.4.98.42:9092,30.4.98.41:9092 --describe --group lops-las-wangxiao-new
  54. ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper 30.4.98.53:2181,30.4.98.54:2181,30.4.98.55:2181 --group lops-las-wangxiao-new --topic wangxiao
  56. #查看kafka的topic当前的offset值：
  57. ./kafka-run-class.sh kafka.tools.GetOffsetShell --topic anquanbu --time -1 --broker-list 30.4.98.52:9092,30.4.98.51:9092,30.4.98.50:9092,30.4.98.49:9092,30.4.98.44:9092,30.4.98.43:9092,30.4.98.42:9092,30.4.98.41:9092 --partitions 0
  59. --partitions 0表示topic分区为0
  61. ##控制台接收消息
  62. bin/kafka-console-consumer.sh --zookeeper  192.168.197.170:2181,192.168.197.171:2181  --from-beginning --topic test
  64. ##控制台发送消息
  65. bin/kafka-console-producer.sh --broker-list  192.168.197.170:9092,192.168.197.171: 9092    --topic test 
  67. #查看log
  68. ./kafka-run-class.sh kafka.tools.DumpLogSegments --files /wls/apache/servers/kfk_lbdp-aip-prd-ins6796/data/kafkaUbasTopicProd-11/00000000010600377216.log --print-data-log >> /tmp/kafkaUbasTopicProd1.txt
  70. ##查看消费组列表
  71. bin/kafka-consumer-groups.sh --bootstrap-server 10.4.1.16:9092,10.4.1.42:9092,10.4.1.36:9092 --list
  73. #删除消费组
  74. ./kafka-consumer-groups.sh --bootstrap-server 172.22.8.132:9092 --delete --group event-risk-collect
  76. #查看单个topic配置
  77. ./kafka-topics.sh --describe --topic travel_cpp.c_trip_partner --zookeeper 172.22.8.174:2181
  79. #查看
  80. ./kafka-topics --zookeeper 172.22.8.132:2181 --describe --topic __consumer_offsets
  81. ./kafka-topics.sh --bootstrap-server 172.20.0.187:9092 --topic travel_cpp.c_trip_industry --describe
  83. #消费topic信息到文件
  84. ./kafka-run-class.sh kafka.tools.DumpLogSegments --files /data/kafka/data/alertnginx-1/00000000000000000000.log --print-data-log >> /tmp/ceshi.txt
  87. #修改单个topic日志保留时长毫秒
  88. #1天86400000毫秒   2天172800000  3天259200000
  89. ./kafka-topics.sh --topic ogg_data --zookeeper 10.75.5.191:2181 --alter --config retention.ms=86400000
  90. ./kafka-topics.sh --zookeeper 10.4.1.79:2181 -topic JMETER_METRICS --alter --config retention.ms=259200000
  93. #修改单个topic消息体大小3M
  94. #动态修改
  95. ./kafka-topics.sh --zookeeper 10.5.3.7:12181 --alter --topic jumi_partner --config max.message.bytes=10485760     
  98. #配置文件修改
  99. server.properties中添加配置项
  101. #broker能接收消息的最大字节数
  102. message.max.bytes=20000000
  103. #broker可复制的消息的最大字节数
  104. fetch.message.max.bytes=20485760
  107. message.max.bytes=104857600  100M

二、kafka简介

kafka特点
可靠性：具有副本及容错机制。

可扩展性：kafka无需停机即可扩展节点及节点上线。

持久性：数据存储到磁盘上，持久性保存。

性能：kafka具有高吞吐量。达到TB级的数据，也有非常稳定的性能。

速度快：顺序写入和零拷贝技术使得kafka延迟控制在毫秒级。