1. Standalone模式

conf/flink-conf.yaml文件配置参数讲解:
jobmanager.heap.size: 1024m jobmanager JVM堆内存大小,运行在一个配置好的节点上的一个JVM进程
tsakmanager.memory.process.size: 1728m 当前taskmanager整个进程的总内存大小,包括堆内存和堆外内存(状态放在堆外内存)
tsakmanager.numberOfTaskSlots: 1 任务槽,一个任务槽可以跑一个单独的线程,一个tsakmanager上一个槽
parallelism.default: 1 有几个线程执行
区别:tsakmanager.numberOfTaskSlots表示当前Task最大能够同时执行的线程数量(并行的最大能力,静态的),parallelism.default真正执行的时候并行的个数(动态的,用多少)
并行度一定比任务槽小吗?不一定,并行度是默认值,是首先在别的地方没有配置的时候用这个,然后任务槽是针对一个tsakmanager来说的,只需要并行度 < slot * tsakmanager的个数
前端页面:localhost:8081

conf/masters / workers文件配置jobmanager和tsakmanager

启动集群:
./bin/start-cluster.sh
停止集群:
./bin/stop-cluster.sh

Job的提交

  1. web页面提交

并行度优先级:并行度以代码优先,然后是提交Job时设置的并行度,最后是配置文件中设置的并行度( 使用的slot跟最大的并行度有关)

  1. 命令行提交

./bin/flink run -c wordcount -p 3 /flink.jar —host localhost —port 7777
取消提交:
./bin/flink list (-a查看状态 )
./bin/flink cancel JobID

2. Yarn模式

图片.png
图片.png
图片.png
图片.png
图片.png