Flink 集群部署案例

1、下载 Flink 压缩包

下载地址：http://flink.apache.org/downloads.html。

CDH 集群环境 hadoop2.6，Scala2.11，所以下载：flink-1.5.0-bin-hadoop26-scala_2.11.tgz

2、解压

[root@hadoop2 opt]# tar -zxf flink-1.5.0-bin-hadoop26-scala_2.11.tgz
[root@hadoop2 opt]# cd flink-1.5.0

3、选择一个 master 节点， 配置 conf/flink-conf.yaml

[root@hadoop2 flink-1.5.0]# vi conf/flink-conf.yaml 
# 设置jobmanager.rpc.address 配置项为该节点的IP 或者主机名
jobmanager.rpc.address: 10.108.4.202

4、配置 slaves

将所有的 worker 节点（TaskManager）的 IP 或者主机名（一行一个）填入 conf/slaves 文件中。

[root@hadoop2 flink-1.5.0]# vi conf/slaves
10.108.4.203
10.108.4.204

5、启动 flink 集群

[root@hadoop2 flink-1.5.0]# bin/start-cluster.sh

6、停止 flink 集群

[root@hadoop2 flink-1.5.0]# bin/stop-cluster.sh

7、查看更多可用的配置项

https://ci.apache.org/projects/flink/flink-docs-release-1.5/ops/config.html

以下是非常重要的配置项：

1. TaskManager 总共能使用的内存大小（taskmanager.heap.mb）
2. 每一台机器上能使用的 CPU 个数（taskmanager.numberOfTaskSlots）
3. 集群中的总 CPU个数（parallelism.default）
4. 临时目录（taskmanager.tmp.dirs）