执行下面的语句,看一下消费情况:
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic test2 --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181
然后报错如下:
Error: Could not find or load main class kafka.tools.ConsumerOffsetChecker
经过检查发现kafka在0.9.0.0版本之后,kafka.tools.ConsumerOffsetChecker已经不支持了。
应该使用 kafka.admin.ConsumerGroupCommand (或bin/kafka-consumer-groups.sh脚本)来管理消费者组,
包括用新消费者API创建的消费者。
新的命令如下:
//查看所有组
${KAFKA_HOME}/bin/kafka-consumer-groups.sh --bootstrap-server ip:9092 --list
//查看具体组的详细描述信息
${KAFKA_HOME}/bin/kafka-consumer-groups.sh --bootstrap-server 192.168.47.133:9092 --describe --group groupname
指定自己的分组 自己消费的topic会显示kafka总共有多少数据,以及已经被消费了多少条
结果:
GROUP TOPIC PID OFFSET LOGSIZE LAG
消费者组 话题id 分区id 当前已消费的条数 总条数 未消费的条数
注意:以kafkaspout类作为消费者去读kafka数据,相当于直接从kafka server上取文件,没有消费者组的概念
每次读的数据存在自己zk的offet中,所以不能通过上述命令查看