Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算

下载

从官方网站下载版本 flink-1.10.1-bin-scala_2.12.tgz,网址为:https://flink.apache.org/downloads.html
下载URL:https://archive.apache.org/dist/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.12.tgz

解压

  1. tar -zxvf flink-1.10.1-bin-scala_2.12.tgz
  2. mv flink-1.10.1 flink

修改配置文件

  1. # 1. 进入config目录
  2. cd ./flink/conf
  4. # 2. 修改flink-conf.yaml,masters,slaves
  5. vim server.properties
  6. # 添加如下配置
  7. env.java.home: /data/java/jdk-11.0.8
  8. # 可根据机器环境调整大小
  9. env.java.ops: -Xms2048m -Xmx2048m
  11. # 默认配置 jobmanager.rpc.address: localhost 改为：
  12. jobmanager.rpc.address: clown
  14. # 以下两项可根据机器环境调整大小
  15. # 默认配置 jobmanager.heap.size: 1024m 改为
  16. jobmanager.heap.size: 2048m
  17. # 默认配置 jobmanager.heap.size: 1728m 改为
  18. jobmanager.heap.size: 2048m
  20. # 任务管理插槽，最低设置为8 默认配置 taskmanager.numberOfTaskSlots: 1 改为
  21. taskmanager.numberOfTaskSlots: 12
  22. # 任务并行度，默认配置 parallelism.default: 1 改为
  23. parallelism.default: 4
  25. # zookeeper.connect修改为本机或集群zookeeper的连接地址
  26. zookeeper.connect=clown:2181     
  27. # 如果是集群 
  28. zookeeper.connect=clown01:2181,clown02:2181,clown03:2181
  30. # 3. 修改masters
  31. # 默认配置 localhost:8081 改为
  32. clown:8081
  34. # 4. 修改slaves
  35. # 默认配置 localhost 改为
  36. clown

配置环境变量

  1. vim /etc/profile
  2. # 添加
  3. export FLINK_HOME=/data/flink #(这里flink安装目录)
  4. export PATH=${PATH}:${FLINK_HOME}/bin

启动

  1. # 1. 进入bin目录,并启动flink,如果不是在bin目录下执行,需写绝对路径,
  2. # bin目录，注意: ./start-cluster.sh前面的 .  不可忽略。
  3. ./start-cluster.sh
  4. # 绝对路径，本机flink目录/data/flink
  5. /data/flink/bin/start-cluster.sh

查看是否启动

  1. # 1. 使用jps,可查看当前运行的程序
  2. # 如果包含以下两个程序，则代表启动成功
  3. StandaloneSessionClusterEntrypoint
  4. TaskManagerRunner
  6. # 2. 使用WEB UI界面 
  7. # 使用IP:PORT,如果进入页面,则代表启动成功