- zookeeper
- flume
- kafka
- 进入到kafka的主目录 ./bin/kafka-server-start.sh -daemon config/server.properties &
- 创建主题同样是在kafka主目录 ./bin/kafka-topics.sh —create —zookeeper master:2181,slaver1:2181,slaver2:2181 —replication-factor 3 —partitions 3 —topic test
- 可以通过命令查询已创建好的主题 ./bin/kafka-topics.sh —list —zookeeper localhost:2181
- 启动生产者 ./bin/kafka-console-producer.sh —broker-list master:9092, salver1:9092, slaver2:9092 —topic test(主题)
- 启动消费者 ./bin/kafka-console-consumer.sh —bootstrap-server master:9092, slaver1:9092, slaver2:9092 —from-beginning —topic test
- storm
zookeeper
进入zookeeper的bin目录执行命令 ./bin/zkServer.sh start
flume
进入到flume的主目录 bin/flume-ng agent -n a1(配置文件中的agent的名称) -c conf -f conf/(配置文件名)z03-hdfs.conf -Dflume.root.logger=INFO,console &
kafka
进入到kafka的主目录 ./bin/kafka-server-start.sh -daemon config/server.properties &
创建主题同样是在kafka主目录 ./bin/kafka-topics.sh —create —zookeeper master:2181,slaver1:2181,slaver2:2181 —replication-factor 3 —partitions 3 —topic test
其中含有三个主机名 ,数字3为代理的数量,topic后面的是主题名