文章目录
- 执行配置
- 程序打包和分布式执行
- 程序打包
- 小结
- 并行执行
- 设置并行度
- Operator 级别
- 执行环境级别
- 客户端级别
- 系统级别
- 设置最大并行度
执行配置
StreamExecutionEnvironment包含ExecutionConfig,它允许为运行时设置特定于作业的配置值。要更改影响所有作业的默认值,请参见配置。
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
ExecutionConfig executionConfig = env.getConfig();
以下是可用的配置选项:
- setClosureCleanerLevel()。closure cleaner级别设置为ClosureCleanerLevel。默认情况下递归。闭包清理器在Flink程序中删除对周围匿名函数类的不必要引用。禁用闭包清理器后,可能会发生匿名用户函数引用周围的类,这通常是不可序列化的。这将导致序列化器产生异常。设置如下:NONE:完全禁用闭包清除器,TOP_LEVEL:只清除顶级类而不递归到字段,RECURSIVE:递归清除所有字段
- getParallelism() / setParallelism(int parallelism)设置作业的默认并行度。
- getMaxParallelism() / setMaxParallelism(int parallelism)设置作业的默认最大并行度。此设置确定最大并行度并指定动态缩放的上限。
- getNumberOfExecutionRetries() / setNumberOfExecutionRetries(int numberOfExecutionRetries)设置失败的任务重新执行的次数。值为0将有效地禁用容错功能。-1表示应该使用系统默认值(与配置中定义的一样)。这是不赞成的,使用重启策略代替。
- getExecutionRetryDelay() / setExecutionRetryDelay(long executionRetryDelay)设置任务失败后重新执行任务的延迟时间,单位为毫秒。在taskmanager上成功停止所有任务后,延迟开始,一旦延迟过去,任务将重新启动。这个参数对于延迟重新执行非常有用,以便在尝试重新执行并立即由于相同的问题再次失败之前,让某些超时相关的故障完全显露出来(比如没有完全超时的断开连接)。此参数仅在重试次数为一次或多次时有效。这是不赞成的,使用重启策略代替。
- getExecutionMode () / setExecutionMode()。默认的执行模式是流水线。设置执行模式以执行程序。执行模式定义数据交换是以批处理方式执行还是以流水线方式执行。
- enableForceKryo()/ disableForceKryo enableForceKryo()。Kryo默认不是强制的。强制GenericTypeInformation对POJO使用Kryo序列化器,即使我们可以将它们作为POJO进行分析。在某些情况下,这可能更可取。例如,当Flink的内部序列化器不能正确处理POJO时。
- enableForceAvro () / disableForceAvro()。默认情况下,Avro不是强制的。强制Flink AvroTypeInfo使用Avro序列化器而不是Kryo来序列化Avro pojo。
- enableObjectReuse() / disableObjectReuse()默认情况下,Flink中不重用对象。启用对象重用模式将指示运行时重用用户对象以获得更好的性能。请记住,当操作的用户代码函数不知道这种行为时,这可能会导致bug。
- getGlobalJobParameters() / setGlobalJobParameters()该方法允许用户设置自定义对象作为作业的全局配置。由于ExecutionConfig在所有用户定义的函数中都可以访问,因此这是一种使配置在作业中全局可用的简单方法。
- addDefaultKryoSerializer(Class<?> type, Serializer<?> serializer)为给定类型注册一个Kryo序列化器实例。
- addDefaultKryoSerializer(Class<?> type, Class<? extends Serializer<?>> serializerClass)为给定类型注册一个Kryo序列化器类。
- registerTypeWithKryoSerializer(Class<?> type, Serializer<?> serializer) 向Kryo注册给定的类型,并为其指定一个序列化器。通过向Kryo注册类型,类型的序列化将会更加高效。
- registerKryoType(Class<?> type) 如果该类型最终使用Kryo序列化,那么将在Kryo注册它,以确保只写入标记(整数id)。如果一个类型没有在Kryo上注册,它的整个类名将被每个实例序列化,导致更高的I/O成本。
- registerPojoType(Class<?> type)向序列化堆栈注册给定的类型。如果该类型最终被序列化为POJO,那么该类型将被注册到POJO序列化器中。如果该类型最终使用Kryo序列化,那么将在Kryo注册它,以确保只写入标记。如果一个类型没有在Kryo上注册,它的整个类名将被每个实例序列化,导致更高的I/O成本。
注意,用registerKryoType()注册的类型对Flink的POJO序列化器实例不可用。
- disableautotyperregistration()默认启用自动类型注册。自动类型注册是用Kryo和POJO序列化器注册用户代码使用的所有类型(包括子类型)。
- setTaskCancellationInterval(long interval)设置连续尝试取消一个正在运行的任务的等待时间间隔(毫秒)。当一个任务被取消时,如果任务线程在一定时间内没有终止,则会创建一个新线程,并周期性地调用该任务线程上的interrupt()。该参数指的是中断()的连续调用之间的时间,默认设置为30000毫秒,即30秒。
在Rich*函数中可以通过getRuntimeContext()方法访问的RuntimeContext也允许访问所有用户定义函数中的ExecutionConfig。
程序打包和分布式执行
如前所述,可以通过使用远程环境在集群上执行Flink程序。或者,程序可以打包到JAR file (Java Archives)中执行。打包程序是通过命令行接口执行它们的先决条件。
程序打包
为了支持通过命令行或web界面从打包的JAR文件执行,程序必须使用StreamExecutionEnvironment.getExecutionEnvironment()获得的环境。当JAR被提交到命令行或web界面时,这个环境将充当集群的环境。如果Flink程序的调用方式与通过这些接口调用的方式不同,则该环境将像本地环境一样工作。
要打包该程序,只需将所有涉及的类导出为JAR文件。JAR文件的清单必须指向包含程序入口点的类(具有公共main方法的类)。最简单的方法是将主类条目放入清单中(例如main-class: org.apache.flinkexample.MyProgram)。main-class属性与Java虚拟机在通过Java -jar pathToTheJarFile命令执行JAR文件时用于查找主方法的属性相同。大多数ide在导出JAR文件时都提供了自动包含该属性的功能。
小结
调用打包程序的整个过程包括两个步骤:
- 在JAR的清单中搜索主类或程序类属性。如果找到了两个属性,则程序类属性优先于main类属性。对于JAR清单中不包含任何属性的情况,命令行和web界面都支持一个参数来手动传递入口点类名。
- 系统调用类的main方法。
并行执行
本节介绍如何在Flink中配置程序的并行执行。Flink程序由多个任务(转换/运算符、数据源和接收器)组成。一个任务被分割成几个并行实例来执行,每个并行实例处理任务输入数据的一个子集。任务的并行实例数称为并行度。
如果要使用保存点,还应该考虑设置最大并行度(或最大并行度)。从保存点恢复时,可以更改特定运算符或整个程序的并行度,此设置指定并行度的上限。这是必需的,因为Flink内部分区状态为键组,我们不能有+Inf数量的键组,因为这将不利于性能。
设置并行度
任务的并行度可以在Flink中指定不同的级别:
Operator 级别
单个operator、数据源或数据接收器的并行度可以通过调用其setParallelism()方法来定义。例如,像这样:
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String> text = [...];
DataStream<Tuple2<String, Integer>> wordCounts = text
.flatMap(new LineSplitter())
.keyBy(value -> value.f0)
.window(TumblingEventTimeWindows.of(Time.seconds(5)))
.sum(1).setParallelism(5);
wordCounts.print();
env.execute("Word Count Example");
执行环境级别
如前所述,Flink程序是在执行环境的上下文中执行的。执行环境为它执行的所有操作符、数据源和数据接收器定义默认并行度。可以通过显式配置操作符的并行性来重写执行环境的并行性。
执行环境的默认并行度可以通过调用setParallelism()方法来指定。若要执行所有的运算符、数据源和数据汇的并行度为3,则设置执行环境的默认并行度如下:
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(3);
DataStream<String> text = [...];
DataStream<Tuple2<String, Integer>> wordCounts = [...];
wordCounts.print();
env.execute("Word Count Example");
客户端级别
并行度可以在向Flink提交作业时在Client上设置。客户端既可以是Java程序,也可以是Scala程序。这种客户机的一个例子是Flink的命令行接口(CLI)。
对于CLI客户端,parallelism参数可以使用-p指定。例如:
./bin/flink run -p 10 ../examples/*WordCount-java*.jar
在Java/Scala程序中,并行度设置如下:
try {
PackagedProgram program = new PackagedProgram(file, args);
InetSocketAddress jobManagerAddress = RemoteExecutor.getInetFromHostport("localhost:6123");
Configuration config = new Configuration();
Client client = new Client(jobManagerAddress, config, program.getUserCodeClassLoader());
// set the parallelism to 10 here
client.run(program, 10, true);
} catch (ProgramInvocationException e) {
e.printStackTrace();
}
系统级别
可以通过在./conf/flink-conf.yaml中设置parallelism.default属性来定义所有执行环境的系统级默认并行度。详细信息请参见配置文档。
设置最大并行度
可以在也可以设置并行度的地方设置最大并行度(客户端级别和系统级别除外)。不是调用setParallelism(),而是调用setMaxParallelism()来设置最大并行度。
最大并行度的默认设置大致为operatorParallelism + (operatorParallelism / 2),下界为128,上界为32768。
将最大并行度设置为一个非常大的值可能会损害性能,因为一些状态后端必须保持内部数据结构,这些数据结构必须随键组(这是可伸缩状态的内部实现机制)的数量伸缩。